Stellt euch vor, ihr trainiert ein Reasoning-Modell in 4 Stunden statt 40 Stunden. Oder ihr schreibt 15 Mal mehr Text auf derselben Hardware. Und auf dem Weg nach Hause lauft auf eurem Handy ein Modell mit 27 Milliarden Parametern. Das ist nicht die Zukunft. Das sind die Nachrichten von heute. Servus und herzlich willkommen zur Daily AI News. Ich bin Lissy und heute geht es um eines: Effizienz. Nicht um eine weitere Milliardenrunde, nicht um einen CEO-Wechsel. Sondern um die Frage, wie wir aus dem vorhandenen Compute mehr rausholen. Beim Training, bei der Inferenz, beim Deployment und sogar beim Menschen, der die Systeme bedient. Fangen wir mit dem größten Hebel an.
Ein Paper von HuggingFace hat diese Woche für Aufsehen gesorgt. 93 Upvotes, und das zu Recht. Es heißt Weak-to-Strong Generalization via Direct On-Policy Distillation, kurz Direct-OPD. Und es beschäftigt sich mit der Frage, die inzwischen jede Firma umtreibt: Wie bekomme ich Reasoning in ein kleines Modell, ohne dafür ein Vermögen auszugeben?
Der Standardansatz ist: Man nimmt ein großes Modell, trainiert es mit Reinforcement Learning, und destilliert dann das Wissen in ein kleineres Modell. Das Problem: RL auf dem großen Modell kostet ein Vermögen. Und wenn man direkt auf dem kleinen Modell RL macht, dauert es ewig.
Direct-OPD macht etwas anderes. Statt das finale Modell zu imitieren, vergleicht es den Teacher vor und nach dem RL-Training. Und zwar auf den Zuständen, die der Student selbst produziert. Der Clou: Der Unterschied zwischen pre-RL und post-RL ist ein extrem dichtes Signal. Es sagt dem Studenten: Diese Aktionen hat der Teacher durch RL wahrscheinlicher gemacht, jene unwahrscheinlicher. Und das ist viel wertvoller, als einfach nur die finalen Antworten des Teachers nachzuplappern.
Das Ergebnis spricht für sich. Ein Qwen3-1.7B Modell steigt von 48.3 Prozent auf 58.3 Prozent auf dem AIME 2024 Benchmark. In 4 Stunden auf 8 A100 GPUs. Zum Vergleich: Direktes RL auf dem Zielmodell braucht etwa 40 Stunden. Also der zehnfache Aufwand.
Was heißt das praktisch? Wer heute ein spezialisiertes Reasoning-Modell bauen will, braucht keine Frontier-Hardware mehr. Vier Stunden auf einem handelsüblichen GPU-Server reichen aus. Und das ist ein echter Gamechanger, weil der Engpass derzeit nicht die Modellarchitektur ist, sondern das Post-Training. Jeder, der schon mal versucht hat, ein 7B Modell mit RL zu trainieren, weiß wovon ich rede.
Interessant ist auch der Freiheitsaspekt. Wenn Reasoning auf kleinen Modellen billiger wird, können mehr Leute mitmachen. Nicht nur die zehn Firmen mit Zugang zu 10.000 GPUs. Sondern auch Forschungsteams, Startups und Einzelentwickler.
Das zweite Paper heute kommt aus einer ganz anderen Ecke, zielt aber auf dasselbe Problem: Wie kriegen wir mehr Leistung aus der vorhandenen Hardware? COBS steht für Cumulant Order Block Sparse Attention. Und es löst ein Problem, das viele unterschätzen: Block Sparse Attention.
Die Idee: Bei langen Texten muss ein Modell nicht alle früheren Tokens neu berechnen. Es speichert sie im sogenannten KV-Cache. Aber bei sehr langen Kontexten wird dieser Cache riesig. Die Lösung: Man teilt den Cache in Blöcke und selektiert nur die relevanten. Das Problem: Bisherige Methoden haben nur den Mittelwert eines Blocks betrachtet. Ein Block, der viele mittelmäßig relevante Tokens enthält, sieht im Mittelwert genauso aus wie ein Block mit einer Mischung aus sehr wichtigen und unwichtigen Tokens. Und genau da liegt der Fehler.
COBS erweitert die Selektion um die Varianz. Es speichert nicht nur den Durchschnitt pro Block, sondern auch die Streuung. Ein Block mit hoher Varianz enthält Details, die man nicht wegwerfen sollte. Ein Block mit niedriger Varianz und niedrigem Mittelwert ist sicher irrelevant. Das klingt nach einer kleinen Änderung, aber die Wirkung ist enorm.
Auf dem RULER Benchmark mit 32.000 Tokens verbessert COBS die Ergebnisse von 0.30 auf 0.82. Zum Vergleich: Dense Attention, also der teuerste aber genaueste Ansatz, erreicht 0.90. COBS schließt also 86 Prozent der Lücke zu Dense Attention. Und das bei 15 Mal weniger KV-Cache Lesezugriffen.
Was heißt das praktisch? Für Hörer, die KI lokal betreiben, ist das extrem relevant. Es bedeutet, dass lange Kontexte auf Consumer-Hardware machbar werden. Ein 32K Kontext auf einer RTX 4090 statt auf einer A100. Und das ist der Unterschied zwischen KI, die man mietet, und KI, die man selbst betreibt.
Und dann ist da noch Bonsai 27B von PrismML. Ein 27 Milliarden Parameter schweres Modell, das direkt auf dem Smartphone läuft. Kein Cloud-Zwang, keine API-Kosten, kein Datenschutz-Problem. Das Modell ist komplett offline und funktioniert auf der Hardware, die ihr in der Tasche habt.
27 Milliarden Parameter sind eine Hausnummer. Selbst die aktuellen Edge-Modelle von Google oder Meta liegen bei 7 bis 8 Milliarden. Dass jetzt ein Modell mit mehr als dreimal so vielen Parametern auf dem Handy läuft, ist ein echter Sprung. Die Qualität wird näher an die Cloud-Modelle rücken, ohne dass man dafür Daten aus der Hand geben muss.
Der Take: Edge AI wird gerade erwachsen. Für viele Anwendungen braucht es keine Cloud mehr. Und das ist sowohl eine Frage der Bequemlichkeit als auch der Freiheit. Wer seine Daten behalten will, kann das bald tun, ohne auf gute KI verzichten zu müssen.
Und zum Schluss eine Geschichte, die zeigt, dass Effizienz nicht nur etwas mit Hardware zu tun hat. Ein Reddit-User hat in sechs Monaten KI-Automation gelernt, ohne eine Zeile Code zu schreiben. Er hat sich in no-code Tools wie Make und n8n eingearbeitet, Workflows gebaut, Kunden gefunden und Geld verdient.
Das Besondere: Er war kein Entwickler. Er hat angefangen, ohne zu wissen, was ein API-Call ist. Am Ende hat er Unternehmen geholfen, ihre manuellen Prozesse zu automatisieren. Das zeigt deutlich, dass KI-Kompetenz kein Privileg mehr ist, das nur Programmierer haben. Die Einstiegshürde sinkt, und zwar rapide.
Für mich ist das die beste Effizienz-Geschichte heute. Nicht weil die Zahlen so groß sind, sondern weil sie zeigt, was passiert, wenn die Technik in die Hände von Leuten kommt, die einfach ein Problem lösen wollen.
Am Ende dieses Tages bleibt bei mir ein klares Bild hängen: Effizienz ist gerade der wichtigste Hebel in der KI-Entwicklung. Nicht die größte Modellgröße, nicht die höchste Funding-Runde. Wer aus dem vorhandenen Compute mehr rausholt, gewinnt. Und das gilt auf allen Ebenen. Vom Training über die Inferenz bis zum Deployment. Und schließlich auch beim Menschen, der die Werkzeuge bedient. Wenn ihr Fragen oder Anregungen habt, schreibt mir eine Mail. Die Adresse steht in den Shownotes. Ich freue mich auf eure Nachrichten. Pfiat euch und bis morgen. Eure Lissy.