Ein Research-Agent kann eine Antwort liefern, die richtig klingt, und trotzdem die Beweiskette verloren haben. Servus, ich bin Lissy. Heute geht es um einen Benchmark, der genau diese Lücke sichtbar macht: Mr.LHDR. Dazu kommen drei kurze Signale aus der Woche: Anthropics neuer Missbrauchsreport, Gemini als Windows-App und ein lokales Diktattool, das ohne Cloud arbeitet.
Mr.LHDR ist ein neuer Benchmark für Deep-Research-Agenten. Der Punkt ist ziemlich einfach, aber unangenehm: Viele heutige Systeme wirken gut, solange man nur die fertige Antwort bewertet. In echter Recherche zählt aber der Weg dahin. Hat der Agent die richtigen Zwischenfakten gefunden. Hat er verstanden, welcher Beleg von welchem anderen Beleg abhängt. Und merkt er, wenn ein Bild, eine Karte oder eine Tabelle den nächsten Schritt verändert.
Genau dafür baut Mr.LHDR Aufgaben aus versteckten Node-Relation-Graphen. Also aus Knoten und Abhängigkeiten. Eine Frage besteht nicht aus einem einzelnen Dokument, sondern aus einer Kette. Im Schnitt braucht der Agent 12,1 notwendige Zwischenschlüsse und 10,4 Ebenen Abhängigkeit. Das ist näher an echter Recherche als die üblichen Aufgaben, bei denen man einen Absatz findet und die Antwort herauskopiert.
Wichtig ist der multimodale Teil. Mindestens ein nicht textlicher Beleg verändert den Denkzustand. Das kann ein Bild sein, eine Karte, ein PDF, eine Tabelle, ein Logo oder ein Videoframe. Wenn der Agent das übersieht, kann die Endantwort trotzdem plausibel klingen. Aber sie steht dann auf wackligen Beinen. Genau diese wackligen Beine will der Benchmark messen.
Die Zahlen sind der Grund, warum ich das heute als Hauptthema nehme. Das stärkste getestete System kommt nur auf 43,1 Prozent Overall Accuracy und 34,3 Prozent Strict Accuracy. Overall heißt: Die Antwort ist grob richtig. Strict heißt: Die Kette dahinter hält auch genauer Prüfung stand. Der Abstand zwischen beiden Metriken ist die eigentliche Geschichte.
Für mich ist das ein sauberer Reality-Check. In Beratung, Einkauf, Produktstrategie oder technischer Evaluierung bringt dir eine schön formulierte Antwort wenig, wenn der zweite und dritte Beleg nicht stimmen. Ein Agent kann dir dann eine Marktanalyse schreiben, die sich liest wie eine solide Zusammenfassung. Aber vielleicht hat er einen Firmenblog mit einer unabhängigen Quelle verwechselt. Oder ein Diagramm falsch gelesen. Oder eine Abhängigkeit übersprungen, weil der Text allein schon nach Antwort aussah.
Noch deutlicher wird es beim Bildteil. Entfernt man Bilder, fällt der Dependency-Aware Checklist Score um 12,6 Punkte. Das sagt nicht: Bilder sind hübsches Beiwerk. Es sagt: Manche Beweise liegen eben nicht im Fließtext. Wer heute Research-Automation baut und nur Textquellen testet, prüft den leichten Teil. Der schwere Teil beginnt dort, wo ein Screenshot, ein Chart oder eine PDF-Tabelle die Richtung ändert.
Was macht man daraus praktisch. Ich würde so einen Research-Agenten nicht zuerst auf offene Internetfragen loslassen. Ich würde ihm drei alte Fälle geben, bei denen die Wahrheit schon bekannt ist. Zum Beispiel: ein Anbieter-Vergleich, den ihr letztes Quartal manuell gemacht habt. Eine technische Kaufentscheidung mit Quellen. Oder eine Wettbewerbsanalyse, bei der ihr wisst, welche Zahl aus welchem Dokument kam.
Dann bekommt der Agent eine klare Aufgabe: Nicht nur Ergebnis liefern. Er muss jede Zwischenbehauptung mit Quelle, Belegtyp und Abhängigkeit notieren. Also: Diese Zahl kommt aus Dokument A. Diese Einschränkung kommt aus Tabelle B. Diese Schlussfolgerung gilt nur, wenn Screenshot C richtig interpretiert wurde. Danach prüft ein Mensch nicht den Stil, sondern die Kette.
Mein Abbruchkriterium wäre hart. Wenn der Agent bei drei bekannten Fällen mehr als einmal eine Quelle falsch zuordnet oder eine wichtige Abhängigkeit weglässt, kommt er nicht in produktive Recherche. Dann darf er sammeln, sortieren und erste Entwürfe machen, aber keine Entscheidungsvorlage allein bauen. Erfolg heißt für mich nicht: klingt gut. Erfolg heißt: Die Beweiskette ist so sauber, dass jemand anders sie in zehn Minuten nachprüfen kann.
Das ist vielleicht weniger glamourös als ein magischer Rechercheknopf. Aber es ist der Unterschied zwischen Automatisierung und Verantwortung abschieben. Mei, bei Forschung ist das wie bei Laborwerten: Die Zahl allein reicht nicht. Man will wissen, wie sie entstanden ist.
Dazu passt Anthropics neuer Threat-Intelligence-Report für September. Anthropic beschreibt darin Fälle aus der Zeit von Dezember 2025 bis August 2026, in denen die Firma Missbrauch ihrer Systeme erkannt und unterbunden hat. Es geht um mehrere Schadensbereiche, unter anderem Cyber, Betrug und biologische Risiken.
Ich würde daraus keine Panikfolge machen. Der Bericht ist von Anthropic selbst, also auch Eigenkommunikation. Trotzdem ist er nützlich, weil er zeigt, wohin Produktpflichten wandern. Wer starke Modelle anbietet, verkauft nicht nur Antwortqualität. Er muss auch erkennen, welche Muster gefährlich werden, wo Nutzer ihre Absicht verschleiern und wann ein scheinbar normaler Workflow kippt.
Für Unternehmen ist die Parallele zu Mr.LHDR spannend. Auf der einen Seite müssen Agenten bessere Beweisketten liefern. Auf der anderen Seite müssen Anbieter besser nachvollziehen, was mit ihren Systemen passiert. In beiden Fällen reicht Oberfläche nicht. Vertrauen entsteht nicht durch schöne Formulierungen, sondern durch Spuren, Logs und nachprüfbare Entscheidungen.
Kurz noch zwei praktische Meldungen. Google bringt die Gemini-App auf Windows. Das ist keine riesige Forschungsnachricht, aber für den Alltag relevant. Ein Assistent sitzt damit näher an den Programmen, in denen Menschen arbeiten. Nicht irgendwo in einem Browser-Tab, den man vergisst, sondern als Desktop-App neben Dokumenten, Mails und Dateien. Ich würde das nicht überhöhen, weil Desktop-Assistenten diese Woche schon Thema waren. Aber es zeigt, wie hart die Anbieter um den Ort kämpfen, an dem Arbeit wirklich passiert.
Das zweite Signal ist YazSes. Das ist ein freies Diktattool für Linux, macOS und Windows. Taste halten, sprechen, loslassen. Faster-whisper transkribiert lokal und schreibt den Text in die aktive Anwendung. Dazu kann YazSes Aufnahmen transkribieren und Meetings mit Sprecherlabels erfassen. Keine Ergebniszahlen, deshalb kein großes Segment. Aber als Test für Solo-Berater, Kanzleien oder Handwerksbetriebe mit Büroassistenz ist es konkret genug: Ein Rechner, ein Mikrofon, ein wiederkehrender Textfluss. Wer jeden Tag Notizen, Angebote oder Gesprächsprotokolle tippt, kann in einer Stunde prüfen, ob lokales Diktat reicht.
Und genau da schließt sich der Kreis. Die besten KI-Werkzeuge der nächsten Monate werden nicht die sein, die am eindrucksvollsten klingen. Sie werden die sein, bei denen man den Weg prüfen kann: Woher kommt die Aussage. Welche Datei wurde gelesen. Welche Entscheidung wurde getroffen. Und kann ein Mensch sie schnell kontrollieren.
Blickt man auf heute, bleibt bei mir vor allem hängen: Research-Agenten brauchen Prüfspuren. Ohne die ist eine Antwort nur ein hübscher Absatz mit Selbstbewusstsein. Mit ihnen kann KI wirklich Arbeit abnehmen, weil man Fehler schneller findet und Verantwortung nicht im Nebel verschwindet. Wenn euch solche Prüfkarten helfen, schreibt mir gern eine Mail, die Adresse steht in den Shownotes. Oder hinterlasst auf Spotify eine Bewertung. Danke fürs Zuhören, Pfiat euch und bis morgen, eure Lissy.