Ein KI-Agent, der mitten im Lauf falsch abbiegt, ist kein reines Modellproblem. Es ist ein Betriebsproblem. Servus, ich bin Lissy, und heute geht es darum, wie Agenten kontrollierbarer werden. Denn ein Agent, der einen Tool-Call vergisst, in einer Schleife hängt oder ein Ergebnis erfindet, spart keine Zeit. Er erzeugt Arbeit. Die spannendste Meldung kommt deshalb aus einem Paper: Real-Time Detection and Repair of LLM Agent Failures. Die Autoren zeigen, wie man Agenten während der Aufgabe überwacht, Fehler erkennt und den Lauf repariert, ohne jeden Schritt von einem zweiten teuren Modell bewerten zu lassen. Dazu passen SWE-Touch, ein Benchmark für Coding-Agenten in gemeinsamen Workspaces, und DocuMan, ein kleines Tool für nachvollziehbares Requirements-Management.
Das Problem sitzt in der Mitte der Agenten-Episode. Viele Demos zeigen am Ende nur: gelöst oder nicht gelöst. Im Betrieb reicht das nicht. Ein Agent kann unterwegs denselben Schritt wiederholen, auf einen falschen Tool-Output reagieren, vom Ziel abdriften oder am Ende eine Summe behaupten, die aus den echten Tool-Ergebnissen gar nicht folgt. Der teure Standardausweg wäre ein zweites großes Modell als Judge, das jeden Schritt beurteilt. Das ist langsam und betriebswirtschaftlich schief, wenn der Prüfer mehr kostet als der Arbeiter. Die Autoren fragen deshalb: Wie viel Fehlererkennung geht aus reiner Telemetrie? Also aus Signalen, die ein System sowieso sieht: Schrittzahl, Tool-Calls, Wiederholungen, ungewöhnliche Sequenzen und Abweichungen von normalen Läufen. Getestet wurde das auf gut zweitausendachthundert Agenten-Episoden über drei Frameworks, drei lokale Modelle und ein kommerzielles API-Modell. Der Monitor erkennt 71 Prozent der Fehler bei einem False-Alarm-Budget von 5 Prozent und erreicht eine AUROC von ungefähr null Komma siebenundachtzig. Das ist nicht perfekt, aber relevant, weil der Monitor pro Schritt nur ungefähr 200 Mikrosekunden kostet. Er ist also Größenordnungen billiger als ein zusätzlicher Modellcall. Wenn man Agenten als digitale Mitarbeiter betrachtet, ist das der Unterschied zwischen Daueraufsicht und einem Warnsystem, das merkt: Hier läuft gerade etwas aus dem Ruder.
Der clevere Teil ist die zweite Schicht: deterministische Verifikation. Das klingt sperrig, meint aber etwas Einfaches. Wenn ein Agent eine Summe berechnet, prüft das System, ob diese Summe wirklich aus den Tool-Ergebnissen folgt. Wenn eine Aufgabe fünf Pflicht-Calls verlangt, prüft es, ob diese Calls passiert sind. Das ist keine Modellmeinung. Das ist Nachrechnen. Genau deshalb ist es im Betrieb so wertvoll. Im direkten Vergleich fängt diese Schicht 60 Prozent der Fehler, ohne False Positives in 63 geprüften Fällen. Mit Coverage-Check liegt die Fehlerabdeckung bei 96 Prozent. Auf eintausendachthundertfünfundzwanzig gesunden Episoden schlägt sie kein einziges Mal an. Natürlich löst das nicht jedes semantische Problem. Gutes Urteil, echte Zielklärung und Qualität lassen sich nicht immer in Regeln pressen. Aber viele teure Agentenfehler sind banal: Ein Call fehlt, ein Ergebnis wurde falsch aggregiert, ein Tool-Output ignoriert. Nach dem Alarm kommt die Reparatur. Der Lauf wird zurückgerollt und live neu ausgeführt. In den Tests hebt das die Task-Success-Rate von 52 Prozent auf 73 Prozent, für ungefähr einen zusätzlichen Modellcall pro Run. Das verändert die Rechnung. Man erwartet nicht mehr, dass Agenten nie Fehler machen. Man baut einen Prozess, der Fehler erkennt und günstig genug korrigiert.
Für Unternehmen ist das wichtiger als ein weiterer hübscher Benchmark. Wer Agenten produktiv einsetzen will, braucht einen verlässlichen Ablauf drumherum. Ein Agent, der Rechnungen prüft, Support-Tickets vorsortiert, Daten aus mehreren Systemen holt oder Codeänderungen vorbereitet, muss beobachtbar sein. Man muss sehen, was er getan hat, warum er es getan hat und wo ein Lauf unsauber wurde. In vielen Firmen scheitert Automatisierung nicht daran, dass ein Modell keine Antwort findet. Sie scheitert daran, dass niemand dem Prozess traut. Vertrauen entsteht durch Logs, Checks, Rollback und klare Grenzen. Die Grenze des Papers ist ebenfalls wichtig. Der Telemetrie-Monitor transferiert kalt schlecht: AUROC null Komma zweiundfünfzig ohne Neukalibrierung, gegenüber ungefähr null Komma neunundachtzig mit Rekalibrierung. Jede Umgebung braucht also ihre eigene gesunde Nullverteilung. Erst lernen, wie ein normaler Lauf bei dir aussieht, dann Alarm schlagen. Das ist eine erwachsene Erkenntnis. Agenten werden produktionsreif, wenn man sie wie Software behandelt: mit Telemetrie, Tests, Zustandsprüfung und Reparaturpfaden. Für kleine Teams ist das eine Chance. Fangt mit Aufgaben an, bei denen Ergebnisse prüfbar sind. Zahlen nachrechnen. Pflichtschritte kontrollieren. Tool-Outputs speichern. Dann hat KI eine Bande an der Straße, statt frei über die Klippe zu fahren.
SWE-Touch zeigt denselben Druck aus der Coding-Ecke. Der Benchmark testet Agenten in einer Situation, die in echten Teams völlig normal ist: Der Agent arbeitet am Code, und ein Mensch ändert währenddessen ebenfalls etwas im Repository. Klassische Benchmarks geben dem Agenten eine statische Welt. In der Praxis fixt jemand eine Datei, jemand anderes ändert eine Abhängigkeit, und der Agent hat noch den alten Zustand im Kopf. SWE-Touch injiziert solche Counter-Edits und prüft, ob der Agent den Workspace neu inspiziert, Konflikte erkennt und seine Tests anpasst. Auf SWE-bench Verified sinkt die durchschnittliche Resolve Rate dadurch um knapp acht Prozentpunkte. Kein Zusammenbruch, aber ein klares Signal: Mensch-Agent-Kollaboration ist ein eigener Fehlerfall. Wer Coding-Agenten baut, muss Shared-Workspace-Chaos aushalten. DocuMan bringt die gleiche Logik in Requirements-Arbeit. Der Entwickler beschreibt auf Show Hacker News, dass viele Teams noch zwischen alten Tools, Excel und Word hängen. DocuMan importiert Kundenspezifikationen, arbeitet mit einem System-Breakdown und verwaltet Requirements-Dokumente für Hardware- und Software-Konfigurationen. Der Wert liegt auch hier in Prüfbarkeit. Welche Anforderung hängt an welchem Dokument? Was ändert sich, wenn eine Systemanforderung kippt? Wo verliert ein Team die Historie? Da sieht man den roten Faden des Tages. Gute KI für Arbeit ist kein loses Chatfenster. Sie hinterlässt Spuren, kennt Pflichtschritte und macht Ergebnisse nachprüfbar.
Was von den heutigen News wirklich zählt: KI-Agenten brauchen mehr Betriebssicherheit. Die nächsten Fortschritte werden deshalb nicht immer wie große Modellankündigungen aussehen. Manche sehen aus wie Logs, Prüfsummen, Coverage-Checks und saubere Rollbacks. Mei, klingt nicht sexy, aber genau da wird aus Spielerei ein Werkzeug. Wenn euch die Folge geholfen hat, schickt sie jemandem, der gerade Agenten in echte Prozesse einbauen will. Und wenn ihr Feedback habt, schreibt mir gern eine Mail, die Adresse steht in den Shownotes. Danke fürs Zuhören. Pfiat euch und bis morgen, eure Lissy.