Eine KI kann dir sehr überzeugend sagen, dass ein Satz korrekt ist, und trotzdem übersehen, dass der wichtigste Satz komplett fehlt. Servus, ich bin Lissy, und heute geht es um einen Fehler, der in echten KI-Prozessen viel gefährlicher sein kann als eine klassische Halluzination: Auslassungen. Zwei neue Paper zu klinischen KI-Schreibern zeigen ziemlich nüchtern, was da passiert. KI-Systeme prüfen vorhandenen Text erstaunlich gut. Aber wenn ein relevanter Fakt aus der Quelle fehlt, werden sie plötzlich blind. Und genau das ist für Unternehmen wichtig, die Verträge zusammenfassen, Support-Tickets auswerten, Meetings protokollieren oder Compliance-Dokumente prüfen lassen.
Der erste Punkt ist banal, aber brutal: Ein erfundener Satz ist sichtbar. Ein fehlender Satz ist unsichtbar. Wenn eine KI in einer Zusammenfassung behauptet, der Kunde habe gekündigt, kann man diesen Satz gegen das Original prüfen. Wenn sie aber nicht erwähnt, dass der Kunde eine Zahlungsfrist gesetzt hat, steht da erst einmal nichts, was falsch aussieht. Genau diese Leerstelle ist das Problem.
Das Paper nennt es Omission Blindness. Also Blindheit für Auslassungen. LLM-Judges, also Sprachmodelle als Prüfer, bekommen eine Quelle und eine fertige Notiz. Dann sollen sie sagen, ob die Notiz korrekt ist. Bei hinzugefügten oder veränderten Inhalten schaffen sie laut Paper eine paired discrimination von null Komma sieben neun bis null Komma neun vier. Das ist nicht perfekt, aber brauchbar. Bei Auslassungen sinkt der Wert auf null Komma fünf null bis null Komma sechs drei. Null Komma fünf ist praktisch Münzwurf.
Für mich ist das die spannendere Betriebsnachricht als die nächste Demo mit hübscher Zusammenfassung. Viele Firmen bauen gerade Workflows nach dem Muster: Meeting rein, Notiz raus, zweite KI prüft kurz drüber, fertig. Das klingt vernünftig. Aber wenn der Prüfer nur sieht, was in der Notiz steht, dann prüft er vor allem Präsenz. Er fragt: Ist diese Aussage gedeckt. Er fragt viel schlechter: Welche Aussage aus der Quelle fehlt. Das ist ein anderer Job.
Das zweite Paper liefert dazu einen harten Praxiskontext. Es hat KI-generierte klinische Notizen aus drei eingesetzten Scribe-Systemen untersucht. Der Datensatz umfasst fünfhundertfünfundsechzig Notizen aus hundertzweiundvierzig Konsultationen. Ein adversariales Panel fand sechshundertachtzehn verifizierte Fehler. Am Ende hatte ungefähr jede dritte Note, konkret einunddreißig Komma drei Prozent, mindestens einen verifizierten Fehler. Wenn man vorbefüllbare Identitäts- und Datumsfehler herausnimmt, bleiben immer noch vierundzwanzig Komma acht Prozent.
Das heißt nicht: KI-Scribes sind wertlos. Das wäre mir zu billig. Ärzte schreiben auch nicht fehlerfrei, und viele Praxen sind mit Dokumentation überlastet. Aber die Zahlen zeigen, wo die Kontrollfrage liegt. Nicht: Klingt die Notiz medizinisch sauber. Sondern: Ist alles enthalten, was für die nächste Entscheidung relevant ist. Eine ausgelassene Allergie, ein nicht erwähnter Medikamentenwechsel oder ein fehlender Warnhinweis kann später viel mehr Schaden machen als ein holpriger Satz.
Und jetzt kommt die Übertragung. Der gleiche Mechanismus trifft nicht nur Medizin. Ein Vertriebsmeeting, in dem der Kunde ein Budgetlimit nennt. Ein Vertrag, in dem eine Kündigungsfrist steht. Ein Support-Chat, in dem der Nutzer einen Reproduktionsschritt erwähnt. Eine Due-Diligence-Mappe, in der ein Nebenrisiko auftaucht. Wenn die KI daraus eine saubere Zusammenfassung macht, aber genau diesen Punkt weglässt, sieht der Output trotzdem professionell aus. Das ist gefährlich, weil der Fehler nicht schreit. Er fehlt einfach.
Der eigentliche Denkfehler ist, dass viele Review-Workflows einen fertigen Text prüfen lassen. Das Modell bekommt Quelle plus Notiz und sucht Fehler in der Notiz. Damit gewinnt automatisch der Blick auf vorhandene Behauptungen. Ist diese Diagnose gestützt. Passt dieses Datum. Wurde diese Zahl verändert. Das ist nützlich, aber es deckt nur die halbe Aufgabe ab.
Für Auslassungen muss man die Reihenfolge drehen. Erst extrahierst du aus der Quelle eine Liste relevanter Fakten. Danach prüfst du, ob die fertige Notiz diese Fakten enthält. Also nicht: Lies die Zusammenfassung und sag, ob sie stimmt. Sondern: Lies zuerst das Original und sag, welche Punkte unbedingt in eine gute Zusammenfassung gehören. Dann vergleichst du. Das Paper berichtet genau in diese Richtung: Wenn die Aufgabe umstrukturiert wird, erholt sich die Erkennung.
Das klingt wie ein kleines Prompt-Detail, ist aber betrieblich ein großer Unterschied. In einem Unternehmen muss nicht jede Zusammenfassung poetisch schön sein. Sie muss die entscheidenden Dinge nicht verlieren. Wer KI im Backoffice nutzt, sollte deshalb nicht nur ein Qualitätsmodell hinter den Output hängen. Er sollte den Prüfprozess zweistufig bauen: Fakten aus der Quelle ziehen, Ausgabe dagegen halten. Und bei kritischen Workflows braucht diese Faktenliste im Zweifel ein festes Schema: Frist, Betrag, Verantwortlicher, Risiko, nächster Schritt. Dann prüfst du nicht Stil, sondern Vollständigkeit.
Wenn ihr das morgen im eigenen Betrieb testen wollt, würde ich es ganz klein machen. Nehmt zehn echte Dokumente aus einem Ablauf, den ihr sowieso habt. Zum Beispiel zehn Kundenmeetings, zehn Support-Tickets oder zehn Vertragsabschnitte. Lasst eure KI daraus wie gewohnt eine Zusammenfassung machen. Dann baut einen zweiten Prompt, der nur die Quelle liest und eine Pflichtliste erzeugt: alle Fristen, Zahlen, Zusagen, Risiken und offenen Aufgaben. Danach vergleicht ihr automatisch oder manuell, welche Pflichtpunkte in der Zusammenfassung fehlen.
Der Messwert ist nicht: Wie gut klingt die Notiz. Der Messwert ist: Wie viele Pflichtpunkte fehlen. Als Erfolgsschwelle würde ich für unkritische Büroprozesse sehr grob sagen: höchstens ein niedriger einstelliger Prozentsatz fehlender Pflichtpunkte nach menschlicher Stichprobe. Bei Medizin, Recht, Finanzen oder Compliance reicht das natürlich nicht als Entscheidungsgrundlage. Da ist der Test nur ein Frühwarnsystem, keine Auslagerung der Verantwortung.
Das Abbruchkriterium ist auch klar. Wenn die KI zuverlässig hübsche Zusammenfassungen schreibt, aber bei wichtigen Auslassungen schwankt, darf sie nicht als autonomer Prüfer laufen. Dann ist sie ein Assistent für den ersten Entwurf, nicht für die Kontrolle. Mei, das ist weniger glamourös als vollautomatische Dokumentation. Aber genau so trennt man nützliche KI von riskanter KI: nicht nach Demo-Glanz, sondern nach den Fehlern, die im Alltag wirklich teuer werden.
Für Anbieter von KI-Tools ist die Lehre ziemlich unangenehm. Ein Button mit “AI reviewed” reicht nicht. Wenn ein Produkt behauptet, Notizen, Verträge oder Tickets zuverlässig zu prüfen, muss es zeigen, wie es Auslassungen findet. Nicht nur Halluzinationen. Nicht nur falsche Zahlen im vorhandenen Text. Sondern fehlende relevante Fakten aus der Quelle. Das wird ein echter Qualitätsunterschied werden.
Für Käufer heißt es: Fragt nicht zuerst nach dem Modellnamen. Fragt nach dem Prüfdesign. Gibt es eine Quelle-Faktenliste. Gibt es Recall-Messungen für Pflichtinformationen. Werden Auslassungen separat gemessen. Kann ich Beispiele sehen, bei denen das System bewusst unvollständige Notizen erkennt. Wenn ein Anbieter darauf nur mit “wir nutzen ein starkes Modell als Judge” antwortet, wäre ich vorsichtig. Ein starkes Modell kann in der falschen Aufgabe trotzdem systematisch blind sein.
Das ist für mich der größere Punkt heute. KI im Betrieb wird nicht dadurch erwachsen, dass sie mehr Texte produziert. Sie wird erwachsen, wenn wir ihre Kontrollpunkte ernst nehmen. Und Kontrolle heißt hier nicht mehr Bürokratie. Kontrolle heißt: den Fehler suchen, der wirklich zählt. Bei Dokumenten ist das oft nicht die falsche Behauptung, sondern die ausgelassene Information.
Mein Takeaway für heute: Die nächste Qualitätsstufe bei KI-Workflows liegt nicht im schöneren Output, sondern in der besseren Prüfung auf fehlende Informationen. Wenn ihr eine Sache aus der Folge mitnehmt, dann diese kleine Testkarte: erst Pflichtfakten aus der Quelle ziehen, dann die KI-Zusammenfassung dagegen prüfen. Wenn euch die Folge geholfen hat, schickt sie jemandem, der gerade Meetings, Tickets oder Verträge mit KI zusammenfassen lässt. Und wenn ihr mir schreiben wollt, die Adresse steht in den Shownotes. Pfiat euch und bis morgen, eure Lissy.