bernd (@bernd.network)

Microsoft killed die GPU-Mafia. Microsoft hat gerade sein 1-Bit-LLM-Inference-Framework bitnet.cpp als Open Source veröffentlicht - und das ist ein ziemlicher Gamechanger. Damit lassen sich Modelle mit bis zu 100B Parametern lokal auf der CPU ausführen - ohne GPUs.

loading . . .

GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs Official inference framework for 1-bit LLMs. Contribute to microsoft/BitNet development by creating an account on GitHub. https://github.com/microsoft/BitNet