Ein Mann, der die KI-Welt vor fast zehn Jahren grundlegend verändert hat, wechselt den Arbeitgeber. Eine Regierung stoppt erstmals den Export von KI-Modellen wie sie Waffen regulieren würde. Und ein japanisches Forschungsteam stellt die Frage, die seit dem Transformer-Paper von 2017 im Raum steht: Funktionieren Sprachmodelle auch ohne Autoregression? Alle drei Themen heute haben eines gemeinsam: Es geht um die Frage, wer bestimmt, wie KI entwickelt wird und wer Zugang dazu hat. Talente zieht es zu den großen Labs, Regierungen schränken den Zugang ein, und gleichzeitig entstehen offene Alternativen mit radikal neuen Ansätzen. Servus und herzlich willkommen zu den Daily AI News. Ich bin Lissy, und heute schauen wir uns an, wohin sich die KI-Welt gerade bewegt.
Fangen wir mit einer Personalie an, die auf den ersten Blick wie eine normale Jobmeldung aussieht. Aber beim zweiten Hinschauen hat sie mehr Bedeutung als die meisten Produktankündigungen dieser Woche. Noam Shazeer, einer der Autoren des Papers "Attention is All You Need", wechselt zu OpenAI.
Dieses Paper von 2017 hat die komplette KI-Landschaft auf den Kopf gestellt. Vor dem Transformer gab es rekurrente Netze, Convolution, lange Trainingszeiten und keine Parallelisierung. Shazeer und seine Kollegen haben gezeigt: Ihr braucht nur Attention, sonst nichts. Jedes moderne Sprachmodell baut auf dieser Idee auf.
Shazeer kommt von einem eigenen Startup zu OpenAI. Und das ist nicht irgendein Wechsel. Es zeigt: OpenAI kann trotz massiver Konkurrenz weiterhin die besten Köpfe anziehen. Anthropic hat starke Forschung, Mistral baut ein europäisches Team auf, und Meta investiert massiv in offene Modelle. Aber wenn jemand wie Shazeer sich für OpenAI entscheidet, ist das ein klares Signal.
Was bedeutet das? Einerseits: Talent-Konzentration. Die gleichen Leute, die die Grundlagen gelegt haben, arbeiten jetzt bei den gleichen drei Firmen. Andererseits: Es zeigt, dass das Rennen um die nächste Generation von KI-Modellen noch lange nicht entschieden ist. Sonst würde Shazeer nicht den Arbeitgeber wechseln. Er will da sein, wo die nächste Idee entsteht.
Ein Thema, das wir vor ein paar Tagen schon angerissen haben, bekommt jetzt neue Details und eine neue Dimension. Die US-Regierung hat eine Direktive erlassen, die den Zugriff auf Anthropics leistungsstärkste Modelle — Fable 5 und Mythos 5 — für ausländische Staatsbürger einschränkt. Betroffen sind nicht nur Nutzer außerhalb der USA, sondern auch ausländische Personen auf US-Territorium. Das heisst: Wer keinen US-Pass hat, darf diese Modelle nicht nutzen, selbst wenn er in San Francisco sitzt.
Wired hat dazu jetzt einen Artikel veröffentlicht, der die Rolle des koreanischen Investors SK Telecom beleuchtet. SK Telecom sitzt als einer der größten Investoren bei Anthropic im Boot, während die eigene koreanische Regierung mit den Exportkontrollen konfrontiert ist. Das zeigt, wie komplex die Verflechtungen in der KI-Welt sind. Investoren sitzen in Ländern, deren Bürger plötzlich keinen Zugriff mehr auf die Produkte des Unternehmens haben, in das sie investiert haben.
Das ist der erste Fall, in dem Frontier Models wirklich wie Waffen reguliert werden. Die Frage ist nicht ob, sondern wie stark sich das auf die globale KI-Entwicklung auswirkt. Und eines ist klar: Diese Regulierung wird den Druck auf Open-Source-Alternativen weiter erhöhen. Denn wenn die Frontier-Modelle hinter nationalen Grenzen verschwinden, suchen Entwickler weltweit nach Alternativen, die sie unabhängig nutzen können.
Und damit kommen wir zum Kern der heutigen Folge. Ein Team japanischer Forscher hat ein Modell namens Sumi veröffentlicht — das ist japanisch für Tinte — und es ist das erste Uniform Diffusion Language Model, das von Grund auf in dieser Größenordnung trainiert wurde. Sieben Milliarden Parameter, eineinhalb Billionen Token, komplett offen.
Jetzt muss ich erklären, warum das so besonders ist. Denn die meisten Hörer kennen Sprachmodelle nur als etwas, das Text vorhersagt. Aber es gibt ganz unterschiedliche Arten, wie man Sprache modellieren kann.
Stellt euch vor, ihr schreibt einen Satz auf. Normalerweise fangt ihr links an und arbeitet euch Wort für Wort nach rechts vor. Das ist Autoregression. Jedes große Modell heute funktioniert so. GPT, Claude, Llama, Gemini, alle lesen und schreiben von links nach rechts, Token für Token. Das ist der Standard seit dem ersten Transformer.
Es gibt auch Masked Diffusion. Das kennt ihr vielleicht von BERT. Dabei werden zufällige Wörter im Satz maskiert, also durch ein Platzhalter-Symbol ersetzt, und das Modell muss die Lücken aus dem Kontext füllen. Wie Lückentext in der Schule. Das ist mächtig, aber das Modell kann nur die maskierten Stellen rekonstruieren, nicht den gesamten Text frei generieren.
Und dann gibt es Uniform Diffusion. Und das ist der Clou: Hier wird während des Trainings Rauschen auf zufällige Token-Positionen addiert, und das Modell muss die Original-Token aus dem kontextuellen Rest wiederherstellen. Nicht von links nach rechts, nicht nur maskierte Stellen — jeder Token kann in jedem Schritt aktualisiert werden. Das Modell sieht den gesamten Satz auf einmal und kann an jeder Stelle gleichzeitig arbeiten.
Warum wurde das nie gemacht? Weil es schwer ist. Uniform Diffusion zu trainieren ist instabil, die Konvergenz ist schwierig, und niemand wusste, ob der Ansatz überhaupt auf große Datenmengen skaliert. Bisher gab es nur kleine Proof-of-Concepts. Sumi ist der erste Versuch, das bei sieben Milliarden Parametern und eineinhalb Billionen Token durchzuziehen — und es funktioniert.
Konkret: Sumi liefert auf Wissens-Benchmarks und Reasoning-Aufgaben Ergebnisse, die mit autoregressiven Modellen vergleichbarer Größe mithalten können. Auf Reasoning und Coding ist es sogar leicht besser. Das heisst: Bei logischen Schlussfolgerungen und Programmieraufgaben schneidet das Diffusion-Modell besser ab als die klassischen AR-Modelle. Nur bei Commonsense-Fragen — also Alltagswissen, das man nicht aus Büchern lernt — ist es schwächer. Und die Forscher sagen ganz offen: Das liegt an ihrer Datenmischung, die stark auf Bildungsinhalte ausgerichtet ist. Kein prinzipielles Problem, sondern ein Daten-Problem, das sich lösen lässt.
Was bedeutet das praktisch? Drei Szenarien.
Erstens: Flexiblere Textgenerierung. Statt einen Text von Anfang bis Ende durchzuschreiben, könnt ihr mit Diffusion an jeder Stelle eingreifen. Ihr schreibt einen Absatz, lasst das Modell eine Passage umformulieren, während der Rest stabil bleibt. Das ist bei autoregressiven Modellen nicht trivial, weil die einmal generierten Token feststehen.
Zweitens: Parallele Verarbeitung. Weil das Modell den gesamten Kontext gleichzeitig sieht, kann es theoretisch kürzere Generierungspfade finden. Wenn ein Satz nur eine kleine Korrektur braucht, muss das Modell nicht den gesamten Satz neu schreiben — es passt nur die relevanten Stellen an.
Drittens: Forschung. Sumi ist komplett offen. Gewichte, Checkpoints, Trainings-Rezept, Datenmischung — alles veröffentlicht. Die Community kann jetzt zum ersten Mal einen Uniform Diffusion Language Model in dieser Größe studieren, modifizieren und weiterentwickeln. Das ist der gleiche Effekt, den wir bei Llama gesehen haben: Sobald ein Referenzmodell offen ist, explodiert die Forschung.
Und das bringt mich zum Take, der mir heute am wichtigsten ist. Schaut euch die drei Themen heute im Zusammenhang an. Noam Shazeer geht zu OpenAI — Talent konzentriert sich bei den größten Labs. Die US-Regierung schränkt den Zugang zu Frontier-Modellen ein — staatliche Kontrolle nimmt zu. Und gleichzeitig veröffentlicht ein japanisches Team ein Modell mit einem radikal neuen Architektur-Ansatz, komplett offen und nachbaubar.
Während die eine Seite zentralisiert und kontrolliert, macht die andere Seite genau das Gegenteil: Sie gibt die Technik in die Hände aller. Das ist keine romantische Open-Source-Schwärmerei. Es ist eine fundamentale strategische Entscheidung. Wenn Diffusion für Sprache funktioniert — und Sumi zeigt, dass es auf Scale funktioniert — dann haben wir plötzlich eine zweite Entwicklungs-Spur für Sprachmodelle. Eine, die nicht von den gleichen Leuten, den gleichen Architekturen und den gleichen Kontrollmechanismen abhängt.
Die Grenzen sind real. Sumi ist kein Modell, das heute alle AR-Modelle übertrifft. Es liefert competitive Ergebnisse, nicht überlegene. Ob der Ansatz auf 70 oder 100 Milliarden Parameter skaliert, ist noch nicht gezeigt. Bei komplexen mehrdeutigen Sätzen kann die Diffusion länger brauchen als ein AR-Durchlauf. Aber das ist nicht der Punkt. Der Punkt ist: Hier entsteht eine zweite Spur der KI-Entwicklung. Und wenn ich eines gelernt habe, dann dass Monokulturen in der Technologie selten gut enden.
Wenn ich den Tag in einen Satz packen müsste: Die KI-Welt sortiert sich gerade neu. Talent, Kontrolle, Offenheit — diese drei Kräfte bestimmen, wohin die Reise geht. Shazeers Wechsel zeigt, wo die klügsten Köpfe hinwollen. Die Exportkontrollen zeigen, wo Regierungen Grenzen ziehen. Und Sumi zeigt, dass die Antwort auf beides konkrete Technologie ist und kein bloßer Protest. Wenn euch die Folge gefallen hat, schreibt mir eine Mail — die Adresse steht in den Shownotes. Ich freu mich über jedes Feedback. Und wer die Daily AI News noch nicht abonniert hat: in der Podcast-App eurer Wahl suchen und abonnieren, das hilft ungemein. Bleibt neugierig, bleibt frei. Pfiat euch.