Ein KI-Agent ist erst dann interessant, wenn man seine Fehler sehen kann, bevor er echten Schaden anrichtet. Servus, ich bin Lissy. Heute geht es nicht um das nächste Modell, das angeblich alles kann. Es geht um die nüchterne Frage: Wie prüft man Agenten im Betrieb? Also bevor sie Kundenportale bedienen, Tickets bearbeiten, Cyber-Aufgaben übernehmen oder Menschen im Alltag führen. Vier Signale passen heute ziemlich gut zusammen: Agentability testet täglich echte Web-Aufgaben, CLIFT bringt Selbstverifikation in Web-Agenten, Anthropic erweitert die Prüfung für riskante Cyber-Nutzung, und VoxScribe zeigt, warum enge lokale Assistenz oft nützlicher ist als große Autonomie.
Fangen wir mit Agentability an. Das Projekt veröffentlicht jeden Tag zehn Web-Erledigungen samt Transkripten. Der Punkt ist simpel, aber wichtig: Ein Agent soll nicht in einer perfekten Demo zeigen, dass er einmal ein Formular findet. Er soll wiederholt an echten Websites scheitern oder funktionieren, und alle sollen sehen können, warum.
Für den Betrieb ist das fast wertvoller als ein neues Modell. Wenn ein Agent für eine Firma Rechnungen hochladen, Termine prüfen oder Kundenportale bedienen soll, reicht kein hübsches Video. Dann will ich wissen: Wo klickt er falsch? Liest er Fehlermeldungen? Erkennt er Cookie-Banner? Versteht er, wenn eine Website plötzlich anders aussieht? Bricht er sauber ab, oder erfindet er einfach den nächsten Schritt?
Die Zahl ist klein, aber konkret: zehn Web-Erledigungen pro Tag. Keine Erfolgsquote im geprüften Ausschnitt, also bitte nicht als Benchmark verkaufen. Aber als Arbeitsform ist es gut. Man bekommt vollständige Abläufe statt Endnoten. Das ist wie bei einem Fahrsicherheitstraining: Mich interessiert nicht nur, ob jemand am Ziel ankommt. Mich interessiert, was passiert, wenn es nass wird, wenn ein Hindernis auftaucht, wenn die Straße schlecht markiert ist.
Wenn ich das für einen Betrieb testen würde, würde ich mit 20 echten, aber ungefährlichen Aufgaben anfangen. Nicht: Kaufe etwas. Nicht: Sende eine Kündigung. Sondern: Finde die letzte Rechnung, prüfe den Lieferstatus, vergleiche zwei Tarife, bereite eine Antwort vor. Danach jede Aufgabe in drei Klassen sortieren. Erstens: sauber erledigt. Zweitens: richtig angefangen, aber menschliche Entscheidung nötig. Drittens: gefährlich falsch. Erst wenn die dritte Klasse klein und erklärbar wird, darf man über mehr Autonomie reden.
Dazu passt CLIFT, ein neues Paper zu Web-Agenten. Die Grundidee aus der Kurzfassung: Agenten sollen nicht nur am Ende hören, ob eine Aufgabe erfolgreich war. Sie sollen während des Weges eigene Schritte prüfen, und diese Prüfung soll statistisch kalibriert werden. Der Fachbegriff dahinter ist conformal self-verification. Übersetzt: Der Agent sagt nicht nur, ich glaube, das passt. Er soll besser einschätzen, wann sein eigener Zwischenschritt verlässlich genug ist.
Warum ist das wichtig? Viele Web-Aufgaben haben ein schlechtes Trainingssignal. Am Ende steht vielleicht Erfolg oder Fehlschlag. Aber der Agent hat vorher 18 kleine Entscheidungen getroffen: Welche Schaltfläche? Welches Feld? Welcher Wert? Welche Seite? Wenn man nur den Endpunkt bewertet, weiß man kaum, welcher Schritt gut oder schlecht war. Ein teures Frontier-Modell als Richter daneben zu stellen, löst das Problem auch nicht sauber. Es kostet Geld und kann selbst danebenliegen.
CLIFT bringt die Prüfung näher an den Agenten. Nicht als Freibrief, sondern als Messschicht. Für Hörer heißt das praktisch: Wenn ihr Agenten testet, fragt nicht nur nach der Erfolgsquote. Fragt nach Selbstchecks. Kann das System markieren, bei welchem Schritt es unsicher ist? Kann es Belege nennen? Kann es einen riskanten Schritt zurückstellen, statt weiterzuklicken?
Die Research-Daten liefern noch keine extrahierten Prozentwerte. Deshalb wäre es unseriös zu sagen: CLIFT macht Agenten um X Prozent besser. Der Wert heute liegt in der Richtung. Web-Agenten werden nicht dadurch betrieblich brauchbar, dass sie mutiger klicken. Sie werden brauchbar, wenn sie sich selbst und ihre Zwischenschritte überprüfbarer machen. Das ist nicht sexy, aber genau so entsteht Vertrauen.
Das dritte Signal kommt von Anthropics erweitertem Cyber Verification Program. Das ist keine Feature-Meldung, bei der normale Nutzer morgen einen neuen Knopf sehen. Es ist eher ein Zugangspfad für Fähigkeiten, die riskanter werden, sobald Modelle bei Cyber-Aufgaben besser helfen können.
Ich finde daran vor allem die Struktur interessant. Bei mächtigen Werkzeugen ist die einfache Antwort oft: alles sperren oder alles freigeben. Beides ist bequem, aber nicht besonders klug. Sperrt man zu viel, trifft man legitime Sicherheitsforschung, interne Teams und kleine Firmen, die ihre eigenen Systeme prüfen wollen. Gibt man alles frei, lädt man Missbrauch ein. Der sinnvolle Mittelweg ist anstrengender: Wer nutzt welche Fähigkeit, wofür, mit welchem Nachweis, und was wird protokolliert?
Das ist ein freiheitlicher Punkt, aber kein naiver. Freiheit heißt nicht, dass jede riskante Funktion anonym und grenzenlos verfügbar sein muss. Freiheit heißt auch, dass verantwortliche Nutzung möglich bleibt, ohne dass ein Staat oder ein Plattformmonopol pauschal entscheidet: Das darf niemand. Für Unternehmen ist die Lektion sehr praktisch. Wenn ihr Agenten in sicherheitsnahe Prozesse lasst, braucht ihr Rollen, Logs und klare Eskalation. Der Praktikant, der ein Ticket zusammenfasst, braucht andere Rechte als der Security-Engineer, der einen internen Schwachstellentest vorbereitet.
Der Test im eigenen Betrieb wäre: Liste alle Agentenfähigkeiten, die irreversible oder sicherheitsrelevante Folgen haben. Senden, löschen, kaufen, veröffentlichen, Zugangsdaten lesen, fremde Systeme scannen. Dann bekommt jede Fähigkeit eine Regel: erlaubt, nur vorbereiten, oder nur nach menschlicher Bestätigung. Wenn diese Tabelle nicht existiert, ist der Agent noch kein Werkzeug. Dann ist er ein Experiment mit Produktivsystem-Anschluss.
Das vierte Signal ist kleiner, aber alltagsnäher: VoxScribe ist eine Open-Source-Windows-App für Hold-to-Talk-Diktat. Laut Research nutzt sie lokale Spracherkennung mit faster-whisper und tippt den transkribierten Text direkt in die aktive Anwendung. Beim Check hatte das GitHub-Repo 16 Sterne und keine Forks. Also kein Riesentrend. Aber ein gutes Beispiel für nützliche Begrenzung.
Warum passt das in eine Agentenfolge? Weil es zeigt, dass KI im Betrieb nicht immer autonom handeln muss. Manchmal reicht eine sehr enge Fähigkeit: Sprache rein, Text raus, lokal auf dem eigenen Rechner, ohne Cloud-Zwang. Für eine Büroassistenz, einen Solo-Berater oder jemanden mit RSI-Problemen kann genau das wertvoller sein als ein Agent, der angeblich den ganzen Arbeitstag übernimmt.
Der Test wäre extrem konkret. Nimm drei wiederkehrende Schreibsituationen: kurze E-Mails, CRM-Notizen nach Telefonaten und interne Aufgabenlisten. Dann misst du nicht, ob das Tool beeindruckend klingt. Du misst: Wie viele Korrekturen pro Absatz? Wie schnell landet der Text in der richtigen Anwendung? Funktioniert es ohne sensible Audiodaten in eine Cloud zu schicken? Und bricht der Arbeitsfluss, wenn Fachwörter oder Namen auftauchen?
Das ist die gleiche Lektion wie bei Agentability und CLIFT, nur kleiner. Ein enges Werkzeug kann leichter geprüft werden. Es hat klare Eingaben, klare Ausgaben und klare Fehler. Genau solche Bausteine sind oft der bessere Einstieg in KI-Automatisierung. Erst ein kleines Stück Arbeit stabil machen. Dann das nächste. Wer sofort den Alles-Agenten sucht, überspringt die wichtigste Frage: Welche Aufgabe ist eigentlich eng genug, dass ich ihren Erfolg beurteilen kann?
Was von den heutigen News wirklich zählt: Agenten werden nicht durch größere Versprechen reif, sondern durch bessere Prüfspuren. Öffentliche Aufgaben, vollständige Transkripte, Selbstchecks, Zugangsregeln und enge Assistenzsituationen. Wenn ihr diese Woche einen Agenten testen wollt, nehmt 20 echte Aufgaben, verbietet irreversible Schritte und schreibt bei jedem Lauf auf, wo der Agent unsicher war. Das ist weniger glamourös als Autonomie. Aber es sagt euch nach einer Stunde mehr als jede Demo. Wenn euch die Folge geholfen hat, schickt sie jemandem, der KI-Agenten testen will. Die Mailadresse steht wie immer in den Shownotes. Pfiat euch und bis morgen, eure Lissy.