KI-Agenten können inzwischen viel Code schreiben. Aber können sie auch Forschung machen, einen Körper steuern und in einer unordentlichen echten Welt gute Entscheidungen treffen? Servus, ich bin Lissy. Heute geht es um drei ziemlich ehrliche Reality-Checks: Forschungsagenten, die nach sechs Tagen keinen echten Durchbruch schaffen, Roboterhirne, die bei langen Aufgaben bei 16,8 Prozent Erfolg hängen, und ein VLA-Modell, das zeigt, wie Robotik trotzdem praktischer werden kann.
Fangen wir mit CRUX an. Die Arbeit fragt: Können KI-Agenten offene KI-Forschung betreiben? Getestet wurde nicht mit einer kleinen Aufgabe, bei der am Ende ein Testset bestanden oder nicht bestanden sagt. Die Forscher nahmen zentrale offene Fragen aus zwei unveröffentlichten NeurIPS-Papers. Also Aufgaben, bei denen selbst starke Doktoranden erst einmal klären müssen: Was ist hier überhaupt die richtige Richtung?
Frontier-Agenten arbeiteten sechs Tage daran, laut Paper mit tausenden Dollar Compute pro Lauf. Sie konnten technische Arbeit erledigen. Code schreiben, Experimente starten, Dinge zusammenbauen. Aber die Originalautorinnen und Autoren der Papers wiesen die Ergebnisse klar zurück. Nicht, weil gar nichts passiert wäre, sondern weil kein substanzieller Forschungsfortschritt entstand.
Das ist der sauberste Satz der Folge: Engineering-Arbeit ist nicht dasselbe wie Forschung. Ein Agent kann fleißig sein, ohne gut zu urteilen. Er kann viel ausprobieren, ohne zu merken, dass die Hypothese falsch ist. Mei, das kenne ich von Menschen auch, aber bei einem Agenten skaliert es direkt mit deiner Kreditkarte.
Für Unternehmen ist das eine wichtige Bremse im Kopf. Wer heute sagt: Wir automatisieren Forschung, meint oft: Wir automatisieren die technische Arbeit rund um Forschung. Literatur sammeln, Code schreiben, Experimente fahren, Tabellen erzeugen. Wertvoll, klar. Aber die teure Stelle bleibt Urteilskraft: Welche Frage lohnt sich? Welches negative Ergebnis ist wirklich negativ? Wann bricht man ab? Genau da sieht CRUX noch eine harte Grenze.
Der zweite Reality-Check kommt aus der Robotik. HumanCLAW fragt: Können Vision-Language-Modelle durch einen Körper handeln? Also nicht nur ein Bild beschreiben, sondern in einer simulierten Wohnung eine längere Aufgabe ausführen. Der Benchmark umfasst 1.218 lange Episoden in 41 Indoor-Szenen. Neun aktuelle Vision-Language-Modelle wurden getestet. Das beste Modell schafft nur 16,8 Prozent Erfolg.
Wichtig ist, was HumanCLAW anders macht. Die Forscher versuchen Motorfehler und Denkfehler zu trennen. Das Modell steuert nicht jeden Gelenkwinkel direkt, sondern wählt atomare Skill-Kommandos. Ein Motion-System führt sie aus. Dadurch misst der Benchmark eher: Versteht das Modell den Zustand der Welt? Wo bin ich? Was habe ich erledigt? Welches Objekt ist relevant? Was ist der nächste sinnvolle Schritt?
Und genau da wird es bitter. Viele Modelle erkennen Objekte auf Bildern gut. Aber ein Körper ist kein Screenshot. Ein Körper hat Position, Reichweite, Blickrichtung, Hindernisse und einen Verlauf. Wenn das Modell vergisst, wo es steht, oder nicht sauber trennt, was es gesehen hat und was es nur vermutet, dann scheitert die Aufgabe.
Das relativiert Roboter-Demos. Eine Demo zeigt meist: Schau, das Modell hat etwas verstanden. HumanCLAW fragt härter: Hält dieses Verständnis über mehrere Schritte? Kann es den eigenen Körperzustand mitdenken? 16,8 Prozent sagen: Noch nicht gut genug. Für mich ist das kein Anti-Robotik-Take. Es macht den Fortschritt glaubwürdiger, weil die Grenze präziser wird.
Jetzt kommt die konstruktive Seite. TurboVLA ist ein Vision-Language-Action-Modell, also ein System, das Bilder, Sprache und Aktionen verbindet. Viele VLA-Ansätze schieben Bilddaten erst in den Raum eines großen Sprachmodells, verbinden sie dort mit der Instruktion und leiten daraus eine Aktion ab. Mächtig, aber langsam und schwer. Für einen Roboter, der in Echtzeit reagieren soll, ist das wie mit Wanderrucksack sprinten.
TurboVLA geht direkter vor. Bildbeobachtung und Sprachinstruktion werden separat verarbeitet, über leichte bidirektionale Interaktion zusammengeführt und dann in kontinuierliche Action-Chunks übersetzt. Das große Sprachmodell ist nicht mehr der zentrale Flaschenhals. Die Zahlen sind deshalb spannend: 0,2 Milliarden Parameter, 0,9 Gigabyte VRAM, 31,2 Millisekunden Policy-Latenz und 97,7 Prozent durchschnittliche Erfolgsrate auf LIBERO. Auf einer RTX 4090 läuft das laut Paper mit 32 Hertz.
Für Hörer ohne Robotik-Hintergrund: 32 Hertz heißt, das System kann grob 32 Mal pro Sekunde neue Steuerentscheidungen treffen. Das ist keine gemütliche Chatantwort. Das ist in der Größenordnung, in der ein Roboterarm flüssig reagieren kann.
Natürlich ist LIBERO nicht dein chaotischer Küchentisch nach einem Abend mit Freunden. Kontrollierte Manipulationsaufgaben sind nicht Alltag. Aber der Architekturpunkt bleibt stark. Vielleicht brauchen viele Roboter nicht immer ein riesiges Sprachmodell im Zentrum. Vielleicht brauchen sie kleinere, spezialisierte Pfade, die Sprache verstehen, aber Aktionen schnell genug ausgeben. Googles Gemini Robotics 2 spricht von Ganzkörper-Intelligenz. TurboVLA zeigt die bodenständige Ingenieursfrage dahinter: Wie bekommt man solche Fähigkeiten schnell und günstig genug auf echte Hardware?
Der vierte Teil klingt weniger glamourös, ist aber für Builder fast am praktischsten. SpecFirst und MindForge schauen auf Coding-Agenten, die Programme von Null bauen sollen. Nicht Bugfix in einer bestehenden Codebase, sondern: Hier ist eine ausführbare Referenz oder Dokumentation, bau das Verhalten nach.
SpecFirst trennt die Aufgabe in zwei Phasen. Erst befragt ein Agent die ausführbare Referenz und erstellt eine strukturierte Verhaltensspezifikation. Danach implementiert ein Code-Agent. Im Grunde klassisches Requirements Engineering als Agenten-Workflow. Die Ergebnisse sind konkret: 6,9 bis 21,3 Prozentpunkte bessere Test-Pass-Raten und 9,4 bis 18,5 Punkte mehr Exploration Coverage.
MindForge arbeitet auf der Trainingsseite. Es verwandelt Open-Source-CLI-Programme in Umgebungen, in denen der Agent nur Binary und Dokumentation bekommt, nicht den Quellcode. Bei Qwen3.6-27B steigt die ProgramBench-Leistung laut Research von 37,98 auf 49,51 Prozent.
Der Take ist schön unsexy: Der nächste Fortschritt bei Agenten kommt durch bessere Arbeitsvorbereitung, nicht bloß durch stärkere Modelle. Erst Verhalten verstehen, dann bauen. Erst Anforderungen klären, dann Code schreiben. Jeder, der schon einmal ein Projekt mit einem zu schnellen Entwickler oder einem zu selbstbewussten Agenten hatte, weiß wie teuer die umgekehrte Reihenfolge wird.
Und hier schließt sich der Kreis zu CRUX. Forschung scheitert an Urteilskraft. Robotik scheitert an Körper- und Weltzustand. Coding-Agenten scheitern an unklaren Anforderungen. Überall fehlt dasselbe Ding: sauberes Situationsverständnis, bevor gehandelt wird. Weniger sexy als AGI, aber viel näher an echten Produkten.
Mein Takeaway für heute: KI-Agenten werden nicht dadurch erwachsen, dass sie länger laufen. Sie werden erwachsen, wenn sie besser wissen, wann sie handeln sollen und wann nicht. CRUX zeigt, dass offene Forschung mehr braucht als Fleiß. HumanCLAW zeigt, dass ein Körper mehr ist als ein Bild plus Text. TurboVLA zeigt, dass Geschwindigkeit und Architektur zählen. SpecFirst zeigt, dass gute Spezifikation manchmal mehr bringt als noch ein größerer Agent. Für Gründer ist das eine gute Nachricht. Der Markt ist nicht geschlossen, nur weil Frontier-Modelle stärker werden. Die Chancen liegen in der Schicht dazwischen: bessere Workflows, bessere Prüfungen, bessere Benchmarks, bessere Spezifikationen, bessere Hardware-Pfade. Da kann man bauen. Und da merkt ein Kunde auch sofort, ob das System nur schlau klingt oder wirklich hilft. Wenn ihr selbst mit Agenten arbeitet, prüft heute eine Sache: Wo lasst ihr das Modell zu früh handeln, obwohl es erst mehr Kontext bräuchte? Schreibt mir gern eure Beispiele, die Adresse steht in den Shownotes. Und wenn euch die Folge gefallen hat, hinterlasst eine Bewertung auf Spotify oder Apple Podcasts. Das hilft dem Podcast mehr, als man denkt. Danke fürs Zuhören. Pfiat euch, bis morgen, eure Lissy.