Wenn ein KI-Benchmark gut aussieht, aber die Lizenz nicht kommerziell nutzbar ist, dann hat man kein gutes System gefunden. Man hat eine Einkaufsfalle gefunden. Servus, ich bin Lissy. Heute geht es um RAG, also Systeme, die Wissen aus Dokumenten holen, aber nicht nochmal mit der üblichen Frage, welches Modell vorne liegt. Heute geht es um das, was in Unternehmen am Ende weh tut: Darf ich das überhaupt produktiv nutzen, was kostet der Aufbau, und warum kann der teuerste Teil schon passieren, bevor der erste Kunde eine Frage stellt. Dazu gibt es drei kurze Signale aus der Praxis: Gemini baut Lern-Workflows aus, OrbitQuote findet angeblich über achttausend Dollar im Angebotschaos, und Maritime will pro Kunde einen eigenen Agenten für einen Dollar im Monat starten.
Fangen wir mit dem Paper an, weil es einen Punkt trifft, der in KI-Projekten oft zu spät kommt. Der Titel ist The Commercial Tax. Die Autoren schauen sich Multi-Hop-Retrieval an. Also Systeme, die über mehrere Dokumente hinweg die richtige Antwort zusammensetzen. Genau das braucht man, wenn Handbücher, Verträge, Tickets, Wikis und alte Projektunterlagen zusammenhängen.
Normalerweise schaut man auf Recall, Accuracy und Leaderboards. Dieses Paper sagt: Moment. Für Unternehmen fehlen zwei harte Fragen. Erstens: Ist der verwendete Embedder kommerziell erlaubt. Zweitens: Was kostet es, den Index zu bauen. Nicht die einzelne Antwort später, sondern der ganze Aufbau davor.
Und da wird es unangenehm. Laut Research hängen drei von vier führenden MuSiQue-Systemen an NV-Embed-v2. Der entscheidende Punkt ist die Non-Commercial-Lizenz. Wenn ein Spitzenwert auf so einem Baustein beruht, misst der Benchmark nicht das, was ein Unternehmen einkaufen kann. Er misst eine akademische Ideallösung. Für Forschung ist das okay. Für einen Mittelständler, der daraus ein Produkt oder eine interne Plattform bauen will, ist es gefährlich.
Ich finde diesen Blick gesund. Nicht weil Lizenzen spannender sind als Modelle. Sondern weil genau dort Projekte später hängen bleiben. Man baut einen Proof of Concept, alles sieht gut aus, und erst danach merkt jemand: Den Kernbaustein dürfen wir so gar nicht einsetzen.
Die Autoren nennen Zahlen, und die machen den Punkt greifbar. Bis Mitte zwanzig sechsundzwanzig lag der beste kommerziell lizenzierte Embedder im Test 2,31 Recall-at-five-Punkte hinter dem Non-Commercial-Anker NV-Embed-v2. Das ist kein Weltuntergang, aber genug, dass ein Team sagen könnte: Die akademische Variante gewinnt.
Dann kommt Nemotron-3-Embed-8B von NVIDIA ins Bild. Laut Paper schließt dieses Modell die Lücke praktisch. Beim Recall-at-five liegt es mit plus 0,24 Punkten im Vertrauensintervall von minus 0,94 bis plus 1,43. Der p-Wert liegt bei 0,69. Übersetzt: Aus diesen Daten lässt sich kein echter Nachteil gegenüber dem Non-Commercial-Anker ableiten. Beim Recall-at-ten sind es minus 0,58 Punkte, ebenfalls nicht statistisch überzeugend.
Das ist relevanter als der nächste kleine Benchmark-Rekord. Denn es heißt: Der alte Kompromiss könnte verschwinden. Man musste oft wählen zwischen stärkstem Ergebnis und sauber nutzbarer Lieferkette. Wenn kommerzielle Embedder gleichziehen, ändert sich die Make-or-Buy-Rechnung. Dann ist nicht mehr die Frage, ob ich die beste Demo nachbauen kann. Sondern welcher Baustein genug Qualität, klare Rechte und eine Architektur liefert, die ich später nicht wegwerfen muss.
Die Gegenperspektive gehört dazu. Nicht jedes kleine Team sollte sofort alles selbst hosten. Wenn du tausend Dokumente und wenige interne Nutzer hast, ist eine gemietete API oft völlig vernünftig. Aber sobald Retrieval zum Kernprodukt wird, sobald Kundendaten, Compliance oder hohe Datenmengen dazukommen, ist Lizenz kein Papierkram mehr. Sie ist Teil der Produktarchitektur.
Der zweite Punkt aus dem Paper ist fast noch wichtiger: Indexierungskosten. Viele RAG-Rechnungen schauen auf Queries. Also: Was kostet eine Antwort. Das ist verständlich, weil API-Preise leicht pro Anfrage denkbar sind. Aber bei großen Wissensbeständen kann der Aufbau des Index der viel größere Brocken sein.
Im Research steht eine Extrapolation für ein Terabyte Daten. Je nach GraphRAG-Indexierungswahl liegen die Kosten grob bei 428.000 Dollar oder bei 4,6 Millionen Dollar. Das ist mehr als Faktor zehn. Ein Jahr Answering bei 10.000 Queries pro Tag liegt mindestens 350-mal darunter. Der teure Fehler kann also passieren, bevor das System regelmäßig benutzt wird.
Genau hier trennt sich Spielzeug von Betrieb. Wenn jemand sagt: Wir bauen einen Wissensagenten über alle Firmenunterlagen, sollte die erste Frage nicht sein, welches Chatfenster schöner ist. Die erste Frage sollte sein: Wie oft müssen wir neu indexieren. Welche Daten ändern sich täglich. Welche Teile brauchen Graph-Struktur. Welche können mit einfacher Suche leben. Und wie teuer wird ein kompletter Rebuild, wenn wir Parser, Embedder oder Chunking wechseln.
Das klingt trocken, ist aber praktisch. Ein schlechter Index ist nicht nur langsam. Er bindet Kapital und macht Migrationen teuer. Er zwingt Teams, bei einer Architektur zu bleiben, weil der Umbau weh tut. Kommt dann noch eine Lizenzfalle dazu, hat man zwei Probleme gleichzeitig.
Was heißt das jetzt praktisch. Ich würde bei jedem ernsthaften RAG-Projekt drei Checks vor die Demo stellen. Erstens: Lizenz-Check für jeden zentralen Baustein. Embedder, Reranker, Parser, OCR, Graph-Komponente. Nicht nur das Chatmodell. Gerade die langweiligen Teile entscheiden oft, ob ein System produktionsfähig ist.
Zweitens: Build-Kosten getrennt von Run-Kosten rechnen. Was kostet der erste Index. Was kostet ein kompletter Neuaufbau. Was kostet ein inkrementelles Update pro Tag. Und erst danach: Was kostet eine Nutzerfrage. Wenn man diese vier Zahlen nicht getrennt hat, entscheidet man im Nebel.
Drittens: Abhängigkeiten sichtbar machen. Wenn der beste Benchmark ein Modell nutzt, das man nicht kommerziell verwenden darf, muss das ins Entscheidungsdokument. Wenn ein System nur deshalb gut ist, weil es einen teuren Graphen über alles baut, muss das auch hinein. Sonst entscheidet am Ende jemand über eine Demo, aber nicht über ein Produkt.
Für mich ist das der eigentliche Take: KI-Benchmarks müssen kaufmännischer werden. Gute Forschung hilft am meisten, wenn sie sagt, welche Variante in der echten Welt tragfähig ist. Qualität ohne Rechte ist riskant. Qualität ohne Kostenmodell ist unvollständig. Qualität ohne Rebuild-Plan ist bei Unternehmenswissen schnell eine Falle.
Kurz zu den anderen Meldungen, weil sie gut zum heutigen Thema passen. Google baut in Gemini SAT-Übungstests aus. Das ist kein riesiges Plattformbeben, aber es zeigt eine Richtung: KI wandert in wiederkehrende Lernabläufe. Üben, Fortschritt sehen, wiederkommen.
Dann OrbitQuote. Das Tool richtet sich an B2B-Beschaffung. Lieferanten schicken Angebote als PDF, E-Mail, Excel oder sogar WhatsApp-Foto. OrbitQuote liest diese Formate, erkennt gleichwertige Produkte und berechnet nicht einfach den billigsten Anbieter, sondern die günstigste Kombination. Auf der Produktseite steht ein anonymisierter Lauf mit vier Lieferanten, sechs Artikeln, 22 Preisen und 8.250,90 Dollar Ersparnis. Das ist ein Anbieterbeispiel, keine unabhängige Marktstudie. Aber das Problem ist real: Marge verschwindet oft durch manuelles Angebotschaos.
Und Maritime zeigt die Infrastruktur-Seite. Die Idee: pro Endkunde einen isolierten AI-Agenten in einer MicroVM starten, mit SDKs, REST und Webhooks für Sleep, Wake und Failure, ab einem Dollar pro Agent und Monat. Aber die Richtung ist klar. Wenn Agenten Kundendaten, Secrets und Aufgaben übernehmen, reicht ein gemeinsamer Prozess für alle nicht mehr. Isolation, Lifecycle und Auditierbarkeit werden Produktfeatures.
Was heute bei mir hängenbleibt: Die nächste KI-Professionalisierung passiert nicht im Chatfenster, sondern im Einkaufszettel darunter. Welche Lizenz. Welche Baukosten. Welche Rebuild-Kosten. Welche Isolation. Welche Datenwege. Das klingt weniger glamourös als ein neues Modell, aber genau dort entscheidet sich, ob KI im Betrieb Geld spart oder später teuer zurückgebaut werden muss. Wenn euch solche Folgen helfen, schreibt mir gern eine Mail, die Adresse steht in den Shownotes. Oder hinterlasst eine Bewertung bei Apple Podcasts. Pfiat euch und bis morgen, eure Lissy.