Servus, Lissy hier. Heute geht es nicht darum, welches Modell noch ein bisschen schneller ist. Heute geht es um die viel härtere Frage: Wann wird KI zuverlässig genug, dass du sie wirklich in Arbeit, Produkte und Entscheidungen einbauen kannst? Drei Meldungen passen da erstaunlich gut zusammen: ein Paper über KI-Text im Web, ein Analytics-Tool mit semantischer Bremse, und ein Datensatz, der aus Agentenfehlern Trainingsmaterial macht.
Der wichtigste Befund kommt heute aus einem Paper mit dem schönen Titel: How Much Is an AI Token Worth? Die Frage klingt erst einmal akademisch, ist aber ziemlich praktisch. Die Autoren schauen sich nicht kontrolliert erzeugte synthetische Daten an, sondern wild gewachsenen KI-Text im Web. Also genau das Material, das in künftigen Web-Scrapes landet, wenn Modelle aus dem offenen Internet lernen. Nach ihrem Filter sind im Juni zweitausendsechsundzwanzig schon siebenundzwanzig Komma fünf Prozent der Web-Textbrocken KI-generiert. Im August sind es einunddreißig Komma eins Prozent. Das ist nicht mehr Randrauschen. Das ist ein großer Teil des Rohmaterials.
Spannend wird es bei den achthundert Pretraining-Läufen. Die Forscher zeigen: KI-generierte Textbrocken sind nicht automatisch wertlos. Bei einem datenarmen Modell können sie am Anfang sogar helfen, weil irgendein halbwegs strukturierter Text besser ist als zu wenig Text. Aber dieser Nutzen kippt. Je mehr gute menschliche Daten ein Modell schon hat, desto schneller werden zusätzliche KI-Texte zur Belastung. Dann liefern sie weniger neue Information, wiederholen Muster, glätten Ecken weg und erhöhen am Ende die Loss. Vereinfacht gesagt: Mehr Webtext kann dann schlechteres Futter sein.
Für Unternehmer ist das keine Laborfrage. Wenn du ein Produkt baust, das Webdaten zusammenkratzt, Kundenmails auswertet, Marktberichte schreibt oder Modelle auf Branchentexte anpasst, dann ist Datenherkunft plötzlich eine Kostenfrage. Nicht nur: Wie viel Daten habe ich? Sondern: Welche davon sind noch echte Beobachtung, und welche sind recycelte Modellmeinung? Ich würde das nicht als Untergang des Webs erzählen. Mei, so dramatisch muss man es nicht machen. Aber es verschiebt den Wert. Kuratierte menschliche Daten, klare Quellen, nachvollziehbare Herkunft und saubere Filter werden wieder wichtiger. Wer nur noch Masse sammelt, sammelt vielleicht vor allem Echo.
Dazu passt Strata, ein neues Analytics-Produkt aus dem Grassroots-Research. Der Gründer beschreibt, dass die Idee aus vier Jahren Arbeit an Self-Service-Analytics bei Netflix kommt. Der Punkt ist nicht: Noch ein Dashboard. Der Punkt ist die semantische Schicht darunter. Business-Nutzer sollen Fragen stellen, Reports abonnieren und Ergebnisse nach Google Sheets exportieren können. Aber die Kennzahlen, Beziehungen und erlaubten Fragen sind vorher definiert.
Das klingt trocken, ist aber genau die Schutzschicht, die vielen KI-Datenprodukten fehlt. Wenn ein Vertriebsleiter fragt: Wie profitabel ist Kundensegment A? Dann darf das System nicht einfach irgendeine SQL-Abfrage erfinden, nur weil die Antwort flüssig klingt. Es muss wissen, was Profitabilität in diesem Unternehmen bedeutet. Welche Kosten dazugehören. Welche Daten fehlen. Und im Zweifel muss es sagen: Diese Frage kann ich mit den vorhandenen Definitionen nicht sauber beantworten.
Genau diese Fähigkeit wird unterschätzt. Viele Menschen verkaufen KI-Analytics so, als wäre natürliche Sprache die eigentliche Revolution. Ich glaube, die wichtigere Revolution ist präzise Begrenzung. Ein System, das nur antwortet, wenn die Frage semantisch gültig ist, ist im Betrieb viel wertvoller als ein System, das jede Frage charmant halluziniert. Das ist auch eine sehr einfache Testkarte für Firmen: Nehmt fünf Kennzahlen, die bei euch intern oft unterschiedlich verstanden werden. Umsatz, Deckungsbeitrag, aktive Kunden, Retention, Pipeline. Dann lasst ein KI-Analytics-Tool Fragen dazu beantworten. Wenn es nicht erklären kann, welche Definition es benutzt, ist es nicht reif für Entscheidungen. Wenn es sauber ablehnt, wird es interessant.
Das dritte Puzzlestück kommt aus der Agentenforschung: Agent Error Dataset. Der Datensatz enthält fünfzigtausendzweihundertachtundzwanzig Fehler-Diagnose-Paare aus neuntausendneunhunderteinundsechzig Agentenaufgaben. Dazu kommen dreiunddreißig Umgebungen, neunzehn Harness-Familien und dreiundzwanzig Policy-Modelle. Das klingt nach Zahlenfriedhof, aber die Idee dahinter ist richtig gut.
Bisher behandeln viele Agenten-Benchmarks einen Fehlversuch wie Müll. Aufgabe nicht geschafft, Reward gleich null, weiter. AED schaut genauer hin: Was hat der Agent gesehen? Welche Aktion hat er gewählt? Was hat die Umgebung zurückgegeben? Wo war der eigentliche Denk- oder Bedienfehler? Aus solchen Spuren entstehen Diagnosen und Korrekturvorschläge. In dreitausendzweiundsechzig Replay-Paaren steigt die Verifier-Pass-Rate laut Zusammenfassung von achtzehn Komma vier Prozent auf einundfünfzig Komma eins Prozent, wenn eine erste Korrekturaktion getestet wird. Das sind zweiunddreißig Komma sieben Prozentpunkte Unterschied.
Für mich ist das der gleiche Gedanke wie bei Datenqualität und Strata, nur bei Agenten: Der wertvolle Teil ist nicht der glatte Erfolgspfad. Wertvoll ist oft die präzise Grenze. Wo bricht es? Welche Aktion war falsch? Welche Annahme hat nicht gestimmt? Wenn du heute mit Coding-Agenten, Browser-Agenten oder internen Automationen arbeitest, solltest du Fehlversuche nicht einfach löschen. Logge sie. Sammle die Zustände, Eingaben, Ausgaben und menschlichen Korrekturen. Daraus wird später dein eigener Trainings- und Prüfdatensatz. Und der muss nicht riesig sein, um nützlich zu werden. Schon zwanzig echte Fehlfälle aus deinem Betrieb können zeigen, ob ein Tool wiederholt am gleichen Punkt scheitert.
Ein kurzer Gegenpol kommt von Google. Guided Vision in Gemini Live ist eine Accessibility-Funktion, die über die Kamera beim Beschreiben und Navigieren der realen Umgebung helfen soll. Das ist keine riesige Marktstrategie-News, aber ein gutes Produktbeispiel. Die Aufgabe ist eng. Die Grenze ist klar. Nutzer merken sofort, ob es hilft: Erkennt das System, was vor mir liegt? Kann es mir verständlich sagen, wo etwas ist? Ist die Antwort rechtzeitig und brauchbar?
Genau solche Features mag ich, weil sie nicht so tun, als müsse KI alles gleichzeitig lösen. Sie nehmen eine konkrete Situation, einen konkreten Menschen und einen konkreten Nutzen. Für Produktteams ist das die Lehre der heutigen Folge in Miniatur: Je klarer die Grenze, desto leichter wird Vertrauen. Je schwammiger die Aufgabe, desto mehr klingt KI nach Demo und desto weniger nach Werkzeug.
Was von den heutigen News wirklich zählt: KI wird nicht automatisch besser, nur weil sie mehr Daten, mehr Text oder mehr Freiheit bekommt. Sie wird besser, wenn jemand festlegt, was zählt, was nicht zählt, wann sie antworten darf und wann ein Fehler als Lernsignal gespeichert wird. Für diese Woche wäre mein Test deshalb sehr simpel: Sucht euch einen KI-Workflow aus, den ihr wirklich nutzt, und schreibt drei Grenzen auf. Welche Daten darf er verwenden? Welche Frage muss er ablehnen? Welcher Fehler wird geloggt? Wenn ihr das nicht beantworten könnt, ist der Workflow noch Spielerei. Wenn ihr es beantworten könnt, habt ihr den Anfang von echter Automatisierung. Wenn euch die Folge geholfen hat, hinterlasst gerne eine Bewertung auf Spotify oder Apple Podcasts. Pfiat euch und bis morgen, eure Lissy.