Ihr kennt das vielleicht: Ein KI-Modell kann plötzlich richtig gut Mathe, aber dann verlernt es das Coden. Nächste Woche ist es top im Programmieren, aber die Texte werden schlechter. Als würde man einen Menschen bitten, gleichzeitig Schachgroßmeister und Olympiaschwimmer zu werden. Die Trainingsmethoden konkurrieren einfach gegeneinander. Genau dieses Problem haben die besten Modelle in den letzten Monaten gelöst. Aber nicht, indem sie einfach mehr Rechenleistung draufgeworfen haben. Sondern mit einer überraschend eleganten Idee: Man trainiert lauter Spezialisten und lässt sie ihr Wissen an einen Generalisten weitergeben. Das Verfahren heißt MOPD, und es steckt hinter den Topmodellen, die ihr heute nutzen könnt. Ich bin Lissy, und das sind die Daily AI News.
Fangen wir mit dem großen Thema heute an, einem Deep Dive. Es geht um die Frage, wie die besten KI-Modelle der Welt eigentlich trainiert werden. Und die Antwort hat sich in diesem Jahr grundlegend verändert. Früher war das ziemlich einfach: Man nahm ein vortrainiertes Modell, machte eine Runde Reinforcement Learning auf allen möglichen Aufgaben gleichzeitig und hoffte, dass es in allen Bereichen besser wird. Das Problem: Reinforcement Learning auf Mathe pusht in eine andere Richtung als RL auf Code, und Code konkurriert wiederum mit Agentic Tasks. Die Trainingssignale heben sich gegenseitig auf. Irgendwann ist das Modell in keinem Bereich mehr richtig gut. Es ist überall mittelmäßig, aber nirgendwo spitze. Genau dieses Problem hat die gesamte Branche beschäftigt. DeepSeek, NVIDIA und Meta sind alle darauf gestoßen. Und die Lösung heißt MOPD, kurz für Multi-Teacher On-Policy Distillation. Der Trick ist gleichzeitig einfach und genial: Statt einem monolithischen Modell, das alles gleichzeitig lernen muss, trainiert man viele Spezialisten. Einen Lehrer nur für Mathe, einen nur für Code, einen für Logik, einen für Agentic Tasks. Jeder Lehrer durchläuft eine eigene SFT- und RL-Pipeline, perfekt zugeschnitten auf seine eine Aufgabe. Das ist günstig, weil die Datensätze kleiner sind, und effizient, weil man keine Kompromisse zwischen konkurrierenden Fähigkeiten machen muss. Und dann kommt der clevere Teil: Ein Studentenmodell, das später ausgeliefert wird, generiert eigene Antworten auf neue Fragen. Für jedes einzelne Token minimiert es die Abweichung zur Verteilung des zuständigen Lehrers. Der Fachbegriff dafür ist Reverse-KL-Divergenz, aber was zählt, ist der Effekt. Der Student lernt von seinen eigenen Gedankengängen, nicht von vorgefertigten Beispielen. Deshalb heißt es On-Policy: Die Trainingsdaten entstehen während des Trainings selbst. DeepSeek V4, Nemotron 3 Ultra und MiMo Flash V2, alles aktuelle Topmodelle, setzen auf diese Architektur. Zum Teil mit über zehn parallelen Spezialisten. Was heißt das praktisch? Modelle werden nicht nur besser in einer Disziplin, sondern in allen gleichzeitig, weil die Spezialisten sich nicht mehr gegenseitig stören. Und das hat einen interessanten Nebeneffekt für den Markt. Wenn Spezialisten günstig zu trainieren sind und parallel entwickelt werden können, dann sinken die Eintrittsbarrieren. Ein kleineres Team mit Fokus auf eine einzige Domäne kann einen Lehrer trainieren, der genauso gut ist wie der eines Milliardenkonzerns. Was am Ende den Unterschied ausmacht, ist nicht die schiere Rechenleistung, sondern die Fähigkeit, das Zusammenspiel der Spezialisten richtig zu orchestrieren. Und genau da entsteht neuer Wettbewerb, den es vorher nicht gab.
Vom Modelltraining geht es jetzt zur Energie-Infrastruktur. Chevron und Microsoft haben einen Stromabnahmevertrag über zwanzig Jahre für ein Rechenzentrum in West-Texas geschlossen. Das besondere daran: Der Strom kommt aus Erdgas, nicht aus erneuerbaren Quellen. Auf den ersten Blick klingt das nach einer Randnotiz für Energiefachleute. Aber dieser Deal ist ein starkes Signal dafür, wie massiv der KI-Infrastruktur-Ausbau gerade läuft. Microsoft sichert sich für zwei Jahrzehnte fossile Energie für ein einziges Rechenzentrum. Das zeigt, dass der Energiehunger der großen KI-Modelle so immens ist, dass selbst Hyperscaler nicht mehr auf grüne Energie allein warten können. Die Rechenzentren werden dort gebaut, wo der Strom ist. Und in Texas ist das Erdgas aus dem Permian Basin. Für Hörer bedeutet das: In Regionen mit Datenzentren-Boom werden die Strompreise spürbar steigen. Und die Umweltdebatte um KI bekommt eine neue Dimension. Denn ein zwanzigjähriger Gasvertrag ist kein Übergang, sondern eine langfristige Festlegung.
Zum Abschluss ein kurzer Hinweis für alle, die mit Coding Agents arbeiten. Der Entwickler Patrick McCanna hat detailliert analysiert, was Claude Codes Extended-Thinking-Output wirklich zeigt. Seine These: Der angezeigte Reasoning-Prozess ist nicht authentisch. Was als Gedankengang des Modells präsentiert wird, ist nicht der echte interne Ablauf, sondern eine nachträglich aufbereitete, gekürzte und zensierte Version. Für Entwickler, die Agentic Workflows bauen und auf Transparenz angewiesen sind, ist das relevant. Wenn der Reasoning-Output nicht zeigt, warum das Modell eine bestimmte Entscheidung getroffen hat, dann kann man auch nicht nachvollziehen, warum es Fehler macht. Das hinterlässt ein ungutes Gefühl, gerade dort, wo Vertrauen am meisten gebraucht wird. Die Frage ist nicht, ob Claude Code besser wird, sondern ob wir als Entwickler nachvollziehen können, wie und warum bestimmte Entscheidungen fallen.
Das große Ganze von heute: Die Trainingstechnologie hinter KI macht einen Quantensprung. Nicht durch mehr Rechenleistung, sondern durch klügere Architektur. Parallel zeigt der Chevron-Microsoft-Deal, dass dieser Fortschritt einen hohen Energiepreis hat, im wörtlichen Sinne. Und während die Modelle immer leistungsfähiger werden, wird die Transparenzfrage drängender. Wer verstehen will, warum ein Modell etwas tut, darf sich nicht mit aufbereiteten Outputs zufriedengeben. Mich beschäftigt vor allem die Frage, wie sich diese drei Entwicklungen zueinander verhalten. Auf der einen Seite werden Modelle durch MOPD besser, günstiger und für mehr Teams zugänglich. Auf der anderen Seite zeigt der Energie-Deal, dass die Kosten einfach an eine andere Stelle wandern: Statt Trainingskosten sind es jetzt Energiekosten. Und gleichzeitig sinkt das Vertrauen in die Transparenz der Modelle. Das ist kein Widerspruch. Es ist einfach die Realität einer Technologie, die schneller wächst als unser Verständnis davon. Wenn euch die Folge gefallen hat, schreibt mir eine Mail. Die Adresse steht in den Shownotes. Oder hinterlasst eine Bewertung auf Apple Podcasts oder Spotify. Pfiat euch, bis morgen, eure Lissy.