Egyszerűen félelmetes mennyire leuralta a piacot a nvidia. Minden cucc szinte csak CUDA, arra működik, 1-2 ROCm megoldás van, de Vulkan szinte semmi. Most írtam egy proxyt, ami úgy viselkedik, mintha ollama lenne, fordítottam egy llama.cpp-t, hogy mögé rakom.
7 months ago