#AI
Ollama zgruzowana, pora na TabbyAPI, trudniejsze w konfiguracji (zwłaszcza dla laika) ale robi 41 tokenów/s., 1/4 więcej niż Ollama!
Walczę ze zbyt małym oknem kontekstowym, Tabby nie dzieli modelu, wszystko w 12GB VRAM (szybkość>elastyczność, end of VRAM i dupa).
Ale działa wybornie.
add a skeleton here at some point
about 1 month ago