Servus. Heute kein News-Update, sondern ein Thema das mich schon länger beschäftigt. Es geht um Modelle die so klein sind, dass sie auf einer CPU laufen. Keine Grafikkarte, kein teurer Cloud-Server, einfach ein normaler Laptop oder ein Raspberry Pi. Die Idee dahinter heisst ternary Weights und ich erklär euch heute was das bringt, wo es scheitert und was man stattdessen machen sollte.
Fangen wir mit der Grundidee an. Normale KI-Modelle speichern ihre Gewichte als Kommazahlen mit 16 Bit Genauigkeit. Jeder Weight ist eine Zahl wie 0.7432 oder minus 1.2358. Sehr genau, aber auch sehr speicherhungrig. Ein Modell mit 70 Milliarden Parametern braucht in FP16 etwa 140 Gigabyte. Das passt auf keine normale Grafikkarte und schon gar nicht in den Arbeitsspeicher eines Laptops. Ternary geht einen anderen Weg. Statt viele verschiedene Zahlen zu speichern, erlaubt man nur drei Zustände: minus 1, 0 und plus 1. Keine Kommastellen, keine Feinheiten, nur drei Werte. Das klingt erstmal nach einem riesigen Qualitätsverlust. Und ja, den gibt es auch. Aber die Forschung hat gezeigt, dass Modelle damit trotzdem erstaunlich gut funktionieren. Ein 1.58 Bit Modell braucht nur noch ein Zwanzigstel des Speichers. Ein 70B Modell passt theoretisch in 5 Gigabyte RAM statt 140. Weil die Gewichte nur aus minus 1, 0 und plus 1 bestehen, können viele der aufwendigen Multiplikationen durch deutlich einfachere Operationen ersetzt werden. Das macht CPU-Inferenz überhaupt erst interessant.
Das bekannteste ternary Modell kommt von Microsoft und heisst BitNet b1.58. 2B steht für 2 Milliarden Parameter. 4 steht für 4.000 Token Kontext. Das ist nicht viel, aber für viele Aufgaben reicht es. Anders als normale Quantisierung, wo man ein fertiges Modell nachträglich verkleinert, wurde BitNet von Anfang an als ternary Modell trainiert. Die Architektur ist anders. Die Aufmerksamkeit, die Normalisierung, alles ist auf ternäre Matrizen ausgelegt. Das Ergebnis: BitNet liefert auf einer CPU 5 bis 10 Token pro Sekunde. Das ist nicht schnell. Zum Vergleich, ein Cloud-Modell wie GPT-4o liefert hunderte Token pro Sekunde. Aber es läuft auf CPU. Keine NVIDIA, kein AMD, kein VRAM. Ein Raspberry Pi mit 8 Gigabyte RAM ist ausreichend. Was mich daran fasziniert: Es ist der erste Proof of Concept, dass ein ernstzunehmendes Sprachmodell ohne GPU auskommt. Nicht schnell, nicht gross, aber es funktioniert.
Klingt fast zu gut um wahr zu sein. Und tatsächlich gibt es ein paar Probleme, die verhindern, dass BitNet heute schon jeder einsetzen kann.
Das zweite ternary Modell ist 1-Bit Bonsai. Das ist ein Bildgenerierungs-Modell mit 4 Milliarden Parametern, ebenfalls ternary. Es läuft auf CPU und erzeugt Bilder lokal, ohne Cloud, ohne Grafikkarte. Die Qualität ist nicht auf Stable Diffusion Niveau. Wenn man ein komplexes Bild mit vielen Details will, merkt man die ternären Gewichte. Für einfachere Generierungen oder Bildbearbeitung reicht es aber völlig. Zusammen mit BitNet ergibt sich ein Bild: Text und Bilder, beides lokal auf CPU, beides mit ternary Architektur. Das klingt nach der Zukunft von Edge AI, also KI die nicht in der Cloud läuft sondern auf dem eigenen Gerät. Aber zu dieser Zukunft gehört auch der Realitätscheck.
Jetzt kommt der Haken. BitNet b1.58 ist ein Base Model. Das bedeutet: Es wurde auf rohen Text trainiert, aber nicht auf Instruktionen. Man kann nicht mit ihm chatten. Man schickt einen Prompt, und das Modell macht dort weiter wo der Prompt aufhört. Es generiert Text, aber es antwortet nicht auf Fragen. Für einen Chat-Assistenten wie Hermes ist es unbrauchbar. Es gibt auch kein Chat-Feintuning von BitNet. Kein Unternehmen hat ein Instruct-Modell oder ein Chat-Modell auf Basis der ternary Architektur veröffentlicht. Der zweite Haken: Ternary braucht eine eigene Inference-Engine. Man kann BitNet nicht in Llama.cpp laden, weil Llama.cpp für die Llama-Architektur gebaut ist, nicht für ternary. Man kann es nicht in Ollama laden, nicht in vLLM. Es gibt keine produktive Umgebung die BitNet hostet. Man müsste es selbst von Hand ausführen. Und dazu kommt: Es gibt keine grossen ternary Modelle. Kein DeepSeek als ternary, kein Qwen, kein Llama. Man kann diese Modelle nicht einfach per Knopfdruck auf 1.58 Bit drücken, weil die Architektur nicht dafür gebaut ist. TorchAO von PyTorch kann existierende Modelle auf 2 Bit runterquantisieren, aber nicht auf 1.58.
Wer heute lokal testen will, stösst schnell auf ein Problem: Normale Chat-Modelle brauchen eine GPU. Auch mit 2 Bit Quantisierung. 2 Bit reduziert die Genauigkeit, aber die Matrizen enthalten immer noch vier verschiedene Werte. Jede einzelne Gewicht-Multiplikation bleibt eine echte Multiplikation. Eine CPU rechnet das, aber langsam. Sehr langsam.
Ternary ist anders. Drei Werte, minus 1, 0, plus 1. Multiplikation wird zu Addition. Das ist der Unterschied zwischen einem Ferrari der im ersten Stock stecken bleibt und einem Fahrrad das überall hochkommt. Nicht schnell, aber es läuft.
Deshalb ist die ternary Forschung so wichtig. Sie ist nicht nur ein Proof of Concept. Sie ist der einzige Weg zu Modellen die auf CPU laufen, ohne GPU, ohne Cloud. BitNet ist heute noch klein und kein Chat-Modell. Aber wenn jemand ein ternary Chat-Modell baut, das auch nur 7 Milliarden Parameter hat, dann läuft das auf einem normalen Laptop. Und dann wird lokale KI wirklich interessant.
Was mich daran wirklich interessiert: Ternary und Edge AI sind für mich nicht nur Technik. Es geht darum, dass KI nicht zwingend in der Cloud laufen muss. Dass ich ein Modell auf meinem eigenen Rechner habe, das ohne Internetverbindung funktioniert, ohne dass jemand mitliest. Open Source Modelle die lokal laufen, das ist die Richtung, die ich unterstützen will. Kein Vendor Lock-in, keine API-Abhängigkeit, niemand der meine Daten sieht. Ternary zeigt, dass dieser Weg möglich ist. Aber er ist noch nicht zu Ende gebaut.
Was heute bei mir hängenbleibt: ternary Modelle sind ein faszinierender Vorgeschmack auf das was kommt. BitNet und 1-Bit Bonsai zeigen, dass CPU-Inferenz funktioniert. Text und Bilder ohne GPU, das ist die Richtung in die Edge AI gehen wird. Aber die Pipeline fehlt. Kein Chat-Feintuning, keine produktive Engine, kein grosses Modell. Ternary ist heute der einzige Weg zu CPU-Inferenz. Und dieser Weg ist noch nicht zu Ende gebaut. Die spannende Frage ist nicht mehr, ob ternary Modelle funktionieren. Die spannende Frage ist, wann wir das erste wirklich gute Chat-Modell in dieser Architektur sehen. Ab diesem Punkt wird lokale KI für sehr viele Menschen plötzlich interessant. Die Adresse steht in den Shownotes, schreibt mir eine Mail an lissy.ai@gmx.de wenn ihr es ausprobiert habt. Pfiat euch, eure Lissy.