Heute geht es um eine unbequeme Frage: Wer baut den Prüfstand, bevor KI-Agenten echte Arbeit anfassen. Servus, ich bin Lissy, und das hier ist die Daily AI News. Freitag ist bei mir der Unternehmerblick auf die Woche. Und diese Woche zeigen mehrere Meldungen dasselbe Muster. Die interessanten Nachrichten sind nicht die nächsten Modellnamen. Die interessanten Nachrichten sind die Kontrollschichten drumherum: Aufgabenregister, Harnesses, Testanrufe, mobile Eingriffe und vergängliche Berechtigungen. Also alles, was aus einer Demo ein Werkzeug macht, dem man im Betrieb eine Chance geben kann.
RunningTab ist heute der sauberste technische Hinweis. Das Paper schaut auf Datei- und Terminal-Agenten, also Systeme, die in einem Repository lesen, Dateien verändern und am Ende behaupten: fertig. Genau da liegt das Problem. Ein Modell kann zehn Dateien öffnen, zwei Anforderungen vergessen, drei Kandidaten nie lesen und trotzdem überzeugend klingen. RunningTab setzt deshalb nicht beim größeren Kontextfenster an, sondern beim Environment. Der Agent schreibt offene Anforderungen in einen Tab. Das System ergänzt automatisch, welche Dateien gelesen wurden, welche Auszüge dazu gehören und welche gefundenen Dateien noch ungeöffnet sind. Beim Abschluss kann das Environment sagen: Moment, diese Anforderung ist offen, und diese Datei wurde zwar gesehen, aber nie geprüft.
In echter Arbeit scheitern Agenten selten daran, dass sie keinen hübschen Satz formulieren. Sie scheitern daran, dass sie nicht sauber nachweisen, was sie wirklich geprüft haben. Für Unternehmer ist das der Unterschied zwischen einem Assistenten und einem Risiko. Wenn ich eine Rechnung, einen Vertrag oder eine Codeänderung prüfen lasse, will ich nicht nur ein Ergebnis. Ich will wissen, welche Belege gesehen wurden und welche nicht.
Das kann man morgen testen. Nehmt eine wiederkehrende Aufgabe mit fünf bis zehn Dateien. Schreibt vorher drei Muss-Anforderungen auf. Danach prüft ihr nicht zuerst, ob die Antwort gut klingt, sondern ob der Agent zu jeder Anforderung einen Beleg und einen offenen Rest liefern kann. Wenn nur Endtext kommt, fehlt eine Kontrollschicht.
CoTrace trifft den zweiten wunden Punkt. Viele Agenten-Benchmarks reden so, als wäre die Fähigkeit allein im Modell gespeichert. CoTrace sagt: Die Fähigkeit entsteht aus Modell plus Harness. Also aus Prompt, Tools, Recovery-Logik, Dateizugriff, Terminal-Umgebung und den Regeln, nach denen ein Agent Fehler repariert. Wenn ein Modell mit Daten trainiert wird, die in einem anderen Harness entstanden sind, kann die Leistung schlechter übertragen werden.
Die Zahlen sind konkret. Auf einem Promotion-Split steigt Qwen drei Punkt fünf mit neun Milliarden Parametern unter überwachten Trainingsdaten von 78 auf 88 gelöste Aufgaben. Eine Online-RL-Variante kommt auf 90. Entscheidend ist aber die Lektion dahinter. CoTrace routet Trajektorien danach, unter welchem Harness sie entstanden sind. Es poolt sie nicht blind zusammen.
Für den Einkauf heißt das: Bewertet Agenten nicht losgelöst von ihrer Umgebung. Wenn ein Anbieter sagt, ein Agent löst X Prozent einer Aufgabe, fragt: mit welchem Dateizugriff, mit welchem Testlauf, mit welchem Rollback, mit welchem Abschlusskriterium. Die wichtige Frage lautet: welche Kombination aus Modell, Tools und Prüfregeln schafft meine Aufgabe zuverlässig.
Eine einfache Testkarte wäre: gebt demselben Agenten dreimal dieselbe kleine Aufgabe. Einmal ohne Tests, einmal mit klaren Akzeptanzkriterien, einmal mit einem harten Abschlusscheck. Wenn die dritte Variante deutlich besser ist, habt ihr gelernt, dass euer Harness der eigentliche Hebel ist.
Das dritte Beispiel kommt aus der Praxis. VoiceGremlin ist ein frisches Show Hacker News Projekt für Teams, die KI-Telefonagenten einsetzen. Eine API ruft den Telefonagenten an, führt einen natürlich formulierten Testfall aus und bewertet am Ende per LLM-as-Judge, ob der Agent bestanden hat. Der Gründer beschreibt es als Mailosaur für Phone Agents. Also nicht manuell anrufen und hoffen, sondern wiederholbare Testläufe in einer Pipeline.
Das ist stark, weil Telefonagenten ein Bereich sind, in dem Fehler sofort weh tun. Wenn ein System eine falsche Auskunft gibt, einen Termin falsch bucht oder an der falschen Stelle eskaliert, merkt es ein echter Kunde. Deshalb reicht eine Demo mit fünf gelungenen Gesprächen nicht. Man braucht Tests gegen Standardfälle, Grenzfälle und neue Produktregeln. VoiceGremlin verkauft nicht noch einen Agenten, sondern den Prüfstand für Agenten.
Je mehr Firmen KI in Kundenkontakt, Vertrieb oder Support bringen, desto mehr Wert wandert zu Testbarkeit. Für eine Arztpraxis, einen Handwerksbetrieb oder einen SaaS-Anbieter mit Telefon-Support ist nicht die Frage, ob KI theoretisch sprechen kann. Die Frage ist: erkennt sie Stornierungen, Beschwerden und Sonderfälle zuverlässig genug.
Ich würde drei Dinge verlangen. Erstens: echte Gesprächsszenarien aus dem Betrieb. Zweitens: ein automatischer Testlauf nach jeder Änderung am Prompt oder an der Wissensbasis. Drittens: eine klare Abbruchschwelle, zum Beispiel keine Produktion, wenn zwei kritische Szenarien fallen.
Zwei kleinere Meldungen machen den Bogen rund. Pocketty ist ein iPhone- und iPad-Terminal für Leute, die lokale Coding-Agenten laufen lassen. Der Builder war in Elternzeit und wollte nicht ständig am Schreibtisch sitzen, während Agenten im Terminal blockierten. Das Setup hält lokale Pane-Sessions erreichbar, ein kleiner Rust-Daemon beobachtet Zustände wie needs-you, done oder blocked, und verschlüsselte Hinweise kommen aufs Handy. Dann kann der Mensch per SSH kurz eingreifen.
Das zeigt ein echtes Betriebsproblem. Autonomie heißt nicht, dass der Mensch verschwindet. Oft heißt es, dass der Mensch seltener, gezielter und an der richtigen Stelle eingreift. Wenn ein Agent nach 40 Minuten an einer Rückfrage hängt, ist der Flaschenhals Aufmerksamkeit. Pocketty macht diesen Engpass sichtbar.
Shortfuse schaut auf eine andere Kontrollschicht: Berechtigungen auf dem Mac. Die App lässt sensible Rechte nach 15 Minuten, nach einer Stunde, heute Abend oder beim Beenden einer App ablaufen. Je mehr kleine KI-Apps Bildschirm, Mikrofon, Dateien oder Kontakte sehen wollen, desto unvernünftiger wird dauerhaftes Vertrauen.
Für mich gehören diese Meldungen zusammen. Gute Agentenarbeit braucht bessere Grenzen. Wann muss der Mensch geweckt werden. Welche Rechte laufen automatisch aus. Welche Aufgabe darf ohne Nachfrage fertiggestellt werden. Welche Änderung braucht einen Review. Genau solche Fragen bestimmen, ob KI entlastet oder neue Unordnung schafft.
Was heute bei mir hängenbleibt: Der nächste KI-Vorsprung entsteht nicht beim lautesten Modellnamen, sondern beim besten Prüfstand. Auch die großen Anbieter senden gerade Signale in diese Richtung: mehr Policies, mehr Sicherheitsfokus, mehr Dateninfrastruktur. In sensiblen Bereichen zählen Belege, Tests, Datenqualität und Grenzen. Wenn ihr diese Woche ein KI-Werkzeug testet, nehmt eine Aufgabe, bei der Fehler sichtbar werden. Schreibt vorher auf, woran ihr Erfolg erkennt, wann ihr abbrecht und welche Belege ihr sehen wollt. Wenn das Tool diese Prüfung nicht aushält, ist das kein Drama. Dann habt ihr etwas Wertvolles gelernt, bevor es teuer wird. Das war's für heute. Wenn euch die Folge geholfen hat, hinterlasst gerne eine Bewertung auf Spotify oder Apple Podcasts. Und wenn ihr ein Tool kennt, das Agenten wirklich prüfbarer macht, schreibt mir eine Mail, die Adresse steht in den Shownotes. Pfiat euch und bis morgen, eure Lissy.