Servus, ich bin Lissy. Heute geht es nicht um das nächste riesige Modell, sondern um eine Schicht, die im Alltag oft mehr entscheidet: Wie findet KI die richtige Stelle in einem Dokument, ohne dabei Geld und Zeit zu verbrennen. Ein neues Paper namens DistilVDR zeigt genau diesen Punkt ziemlich schön. Es geht um visuelle Dokumentensuche, also um PDFs, Scans, Formulare, Tabellen und Seiten, bei denen Text allein nicht reicht. Mei, trocken, aber im Betrieb oft der Unterschied zwischen Demo und brauchbarem Werkzeug.
Der Engpass bei Dokumenten-KI ist selten nur die Antwort. Der Engpass ist vorher: Welche Seite, welcher Absatz, welche Tabelle, welcher Ausschnitt gehört überhaupt in den Kontext. Bei normalen Textdateien kann man Textbrocken relativ günstig suchen. Bei visuellen Dokumenten wird es schwieriger, weil Layout, Spalten, Tabellen, Screenshots, Stempel und gescannte Seiten mitspielen. Ein System muss also nicht nur Wörter finden, sondern eine Seite als Bild verstehen. Genau da werden viele Lösungen schwer. Sie erzeugen große Bild- oder Seitenrepräsentationen, speichern viel Indexmaterial und brauchen beim Suchen mehr Rechenaufwand. Mit zehn PDFs ist das egal. Bei hunderttausend oder einer Million Dokumentseiten wird es zur Kostenfrage. DistilVDR setzt an dieser Stelle an. Die Idee ist nicht: Wir bauen noch einen größeren Dokumentenversteher. Die Idee ist: Wir nehmen einen starken Acht-Milliarden-Parameter-Lehrer und destillieren seine Suchfähigkeit in ein viel kleineres System mit 524 Millionen Parametern. Das ist immer noch ein Modell, aber eine andere Größenordnung. Und es ist genau die Sorte Größenordnung, bei der man anfangen kann, über echten Betrieb zu reden, nicht nur über Benchmark-Screenshots.
Der technische Kniff ist Dual-Student-Distillation. Das klingt kompliziert, ist aber gut erklärbar. Ein großer Vision-Language-Lehrer erzeugt Embeddings, also Zahlenräume, in denen Frage und Dokumentseite zusammenpassen sollen. DistilVDR trainiert dann einen kleineren Schüler, der diesen Raum nachbildet. Wichtig ist: Frage und Dokumentseite werden asymmetrisch behandelt. Die Frage-Seite bleibt sehr klein, etwa 70 Millionen Parameter. Die Dokumentseite bekommt mehr visuelle Kapazität, weil dort Layout und Bilddetails stecken. Am Ende kommt ein Single-Vector-Retriever heraus. Single Vector heißt: pro Dokumentseite wird eine kompakte Repräsentation gespeichert, statt viele einzelne Vektoren pro Patch oder Region mitzuschleppen. Für Betrieb ist das ein riesiger Unterschied. Multi-Vector-Systeme können stark sein, aber sie blähen den Index auf. Ein kleinerer Index heißt weniger Speicher, schnelleres Suchen, einfacheres Deployment und oft weniger operative Kopfschmerzen. Genau deshalb ist die Zahl aus dem Paper interessant: Bei einer Million Dokumenten ist der Index 15,6-mal kleiner als bei der stärksten sub-ein-Milliarde-Parameter-Multi-Vector-Baseline. Die Indexierung ist um eine Größenordnung schneller. Das ist mehr als akademisch hübsch. Das spürt man, wenn jede neue Dokumentencharge nicht über Nacht durchlaufen darf.
Natürlich ist die Frage: Was verliert man dabei. Das Paper nennt für DistilVDR-HiRes einen durchschnittlichen NDCG-at-five-Wert von 61,74 auf ViDoRe eins, zwei und drei. NDCG-at-five misst vereinfacht gesagt, ob die richtigen Treffer weit oben in der Ergebnisliste landen. Gegenüber dem großen Lehrer erreicht der kleine Retriever 86,9 Prozent der Qualität. Das ist kein Wunderheilmittel. Kleiner ist nicht ohne Verlust genauso gut. Man bekommt einen großen Teil der Suchqualität mit deutlich weniger Betriebsgewicht. Die schnelle Variante, DistilVDR-Fast, kommt auf 59,98 und nutzt ein dreimal kleineres visuelles Token-Budget. Auch das ist spannend, weil es die eigentliche Wahl sichtbar macht. Will ich maximale Qualität, oder reicht mir etwas weniger Qualität bei deutlich besserer Geschwindigkeit und Kostenstruktur. Genau so werden KI-Systeme in Firmen am Ende entschieden. Nicht mit der Frage, welches Modell in einem Diagramm ganz oben steht, sondern mit der Frage: Welche Kombination aus Trefferqualität, Speicher, Latenz und Wartbarkeit löst meine Aufgabe zuverlässig genug. Das klingt nüchterner als Frontier-Modell-Rennen. Aber es ist näher an der Realität.
Heute kamen auch große Modellmeldungen rein: DeepSeek V4 Pro auf OpenRouter, Qwen3.8 mit sehr großen Gewichten auf Hugging Face, Grok 4.6 von xAI. Das sind wichtige Signale für den Modellmarkt. Aber für mich ist der interessantere Donnerstags-Take ein anderer: Wenn es immer mehr Modelle gibt, wird Modellwahl allein weniger besonders. Was zählt, ist die Architektur drumherum. Wer findet die richtigen Dokumente. Wer hält die Kosten im Griff. Wer kann lokal oder zumindest kontrolliert betreiben. Wer baut Systeme, die man nicht nach drei Wochen wieder abschaltet, weil Indexgröße, Latenz oder Rechnungen aus dem Ruder laufen. DistilVDR passt genau in diese Verschiebung. Es sagt: Vielleicht muss die Dokumenten-KI gar nicht überall größer werden. Vielleicht muss sie an den richtigen Stellen kleiner, spezialisierter und sparsamer werden. Für Gründer und kleine Teams ist das eine gute Nachricht. Denn wenn visuelle Dokumentensuche billiger wird, werden neue Produkte möglich: Vertragsprüfung für Nischenbranchen, Rechnungskontrolle, Angebotsvergleich, interne Wissenssuche über alte Scans, Compliance-Dokumentation. Nicht als riesiges Enterprise-Projekt. Als Werkzeug, das ein kleineres Team überhaupt betreiben kann.
Dazu passt InSight-doc, ein anderes Paper aus der heutigen Deep-Dive-Recherche. Dort geht es um agentische visuelle Wahrnehmung für lange Dokumente. Das System schaut nicht jede Seite stumpf in höchster Auflösung an. Es startet grober, entscheidet während des Reasonings, wo es genauer hinsehen muss, und zoomt dann in relevante Regionen. Laut Research verbessert InSight-doc-8B Document-VQA-Benchmarks um 4,3 bis 16,4 Accuracy-Punkte, reduziert Halluzinationen auf langen Dokumenten um mehr als 40 Prozent und senkt die Latenz um 41 bis 68 Prozent. Ich würde das nicht als zweites großes Segment aufblasen, aber als Signal ist es stark. Beide Arbeiten zeigen dieselbe Richtung: Dokumenten-KI wird agentischer und sparsamer. Sie behandelt Rechenzeit, Auflösung und Suche als knappe Ressourcen. Das ist ein ziemlich menschliches Muster. Auch wir scannen erst grob und schauen dann genau auf Betrag, Datum, Kündigungsfrist oder Haftung. Ein gutes KI-System muss nicht alles immer maximal teuer betrachten. Es muss lernen, wann Genauigkeit nötig ist und wann nicht.
Wenn ihr so etwas in einem eigenen Produkt oder internen Workflow nutzen wollt, wäre mein Test nicht: Schmeißt alle PDFs rein und hofft. Ich würde kleiner anfangen. Nehmt hundert echte Dokumente aus eurem Alltag, nicht schöne Demo-Dateien. Markiert zwanzig bis fünfzig Fragen, die wirklich vorkommen: Wo steht die Zahlungsfrist. Welche Anlage enthält die Preisanpassung. Welche Rechnung hat eine abweichende Umsatzsteuer. Dann testet drei Dinge getrennt. Erstens Trefferqualität: landet die richtige Seite unter den ersten fünf Ergebnissen. Zweitens Kosten und Latenz. Drittens Kontrollierbarkeit: kann ein Mensch nachvollziehen, warum genau diese Seite gezogen wurde. Wenn ein kleinerer Retriever hier gut genug ist, habt ihr viel gewonnen. Wenn nicht, wisst ihr wenigstens, dass euer Problem anspruchsvoller ist als die Demo versprochen hat. Der wichtigste Punkt ist: Dokumenten-Automation scheitert oft nicht an der Antwort am Ende. Sie scheitert daran, dass vorher der falsche Beleg gefunden wurde. Und falsche Belege sind teuer, auch wenn die Antwort schön klingt.
Das große Ganze von heute: KI wird dort interessant, wo sie nicht nur schlauer, sondern betreibbarer wird. Größere Modelle sind schön. Aber kleinere Indizes, schnellere Suche und gezieltere Wahrnehmung entscheiden, ob Dokumenten-KI in echten Firmen ankommt. Wenn euch die Folge geholfen hat, schickt sie jemandem, der noch denkt, PDF-Automation sei nur ein Chatfenster über einem Ordner. Und wenn ihr mir schreiben wollt, die Adresse steht in den Shownotes. Pfiat euch und bis morgen, eure Lissy.