Wenn ein KI-Agent zehn Minuten lang klickt, sucht, plant und am Ende nur halb richtig liegt, ist die spannende Frage nicht: War der Prompt schlecht. Die Frage ist: Wie trainierst du so ein Ding überhaupt. Servus, ich bin Lissy. Heute gibt es einen Deep Dive zu einem Paper, das ziemlich trocken klingt, aber einen echten Kostenhebel trifft: Agentic ESOpt. Die Grundidee: lange KI-Agenten nicht mit dem schweren Reinforcement-Learning-Stack feinjustieren, sondern mit Evolution Strategies, also mit einer Art systematischem Ausprobieren ganzer Modellvarianten. Klingt erst mal nach Forschungslabor. Ist aber genau die Frage, die jedes Team irgendwann hat, wenn aus Chatbot-Spielerei echte Arbeitsschritte werden sollen.
Fangen wir mit dem Problem an. Bei einem normalen Chat ist Feedback vergleichsweise einfach. Antwort gut, Antwort schlecht, fertig. Bei einem Agenten ist das anders. Der sucht vielleicht erst eine Datei, liest dann eine Tabelle, ruft ein Tool auf, macht eine Zwischenentscheidung, korrigiert sich, schreibt am Ende einen Bericht und vergisst dabei vielleicht eine wichtige Randbedingung. Wenn das Ergebnis falsch ist, welcher Schritt war schuld. Der erste Suchbegriff. Die Tool-Auswahl. Die Zusammenfassung. Die finale Entscheidung. Genau hier wird klassisches Reinforcement Learning anstrengend. Es muss den Erfolg oder Fehler irgendwie auf viele Zwischenschritte zurückrechnen. Das nennt man Credit Assignment, also die Frage, wem man am Ende die Verantwortung gibt. Bei kurzen Aufgaben geht das noch. Bei langen Agenten-Trajektorien wird es schnell matschig. Das Paper sagt deshalb: Für Long-Horizon-Agenten ist der schwere backpropagation-basierte RL-Stack oft nicht der natürlichste Weg. Er braucht viel Speicher, viel Trainingsinfrastruktur und hat genau dort Mühe, wo Agenten spannend werden, nämlich bei langen, verzweigten Abläufen mit seltenem Feedback. Das ist kein kleines Detail. Wenn du einen Agenten für echte Arbeit baust, willst du nicht jeden Klick einzeln bewerten. Du willst wissen: Hat er die Aufgabe gelöst, sicher, günstig und reproduzierbar. Und dann willst du ihn in diese Richtung verbessern.
Evolution Strategies drehen die Perspektive um. Statt jeden einzelnen Schritt rückwärts durch das Modell zu rechnen, werden Modellparameter leicht variiert. Dann lässt man mehrere Varianten ganze Aufgaben ausführen. Die Varianten, die am Ende bessere Ergebnisse liefern, ziehen die nächste Modellversion in ihre Richtung. Das ist grob gesagt eher Züchtung als Schulnote pro Token. Aus Biologie-Sicht ist das natürlich ein hübscher Moment, aber ich meine das nicht romantisch. Der praktische Punkt ist: Du brauchst ein brauchbares Endsignal, nicht eine perfekte Erklärung für jeden Zwischenschritt. Agentic ESOpt macht genau das für LLM-Agenten. Bei jedem Schritt werden kleine Störungen um die aktuellen Modellgewichte herum gesampelt. Die daraus entstehenden Agenten laufen durch Aufgaben, bekommen Rewards, und daraus entsteht ein reward-gewichtetes Update. Zusätzlich führt das Paper einen Cosine-Decay für die Störungsgröße Sigma ein. Am Anfang darf stärker erkundet werden, später werden die Änderungen kleiner. Das ist wichtig, weil Agentenoptimierung sonst leicht wackelt. Zu viel Zufall und du lernst nur Rauschen. Zu wenig Zufall und du kommst aus schlechten Gewohnheiten nicht raus. Der Charme liegt aber in der Schnittstelle: ES behandelt den Agenten weitgehend als Black Box. Es muss nicht wissen, ob der Fehler im Tool-Call, im Prompt, in der Planung oder in der Antwort lag. Es bewertet die ganze Trajektorie.
Jetzt kommt der Teil, der für Gründer und kleine Teams interessanter ist als der Methodenname. Das Paper behauptet: Agentic ESOpt ermöglicht Full-Parameter-Optimierung mit minimalem GPU-Speicher auf Inferenzniveau. Also nicht der komplette schwere Trainingsaufbau, bei dem jede Zwischenaktivierung für Backpropagation aufgehoben werden muss. Für große Modelle ist das groß. Wenn du für Feinjustierung denselben Speicher brauchst wie für Inferenz, rutscht die Grenze nach unten, wer überhaupt experimentieren kann. Nicht jeder muss dann ein Frontier-Lab mit Trainingscluster sein, um einen Agenten an ganze Aufgaben anzupassen. Das heißt nicht, dass Training plötzlich gratis wird. Du musst Varianten ausführen. Du brauchst Evaluationsaufgaben. Du brauchst saubere Rewards. Und wenn die Aufgaben lange laufen, kosten auch die Durchläufe Geld. Aber der Engpass verschiebt sich. Weg von: Ich kann das Modell technisch nicht trainieren. Hin zu: Habe ich gute Aufgaben, gute Messung und genug Durchläufe. Für mich ist das ein viel erwachsenerer Kostenhebel als die übliche Modellpreis-Diskussion. Viele schauen nur auf den Preis pro Million Tokens. Bei Agenten zählt aber der Preis pro sauber erledigter Aufgabe. Wenn ein Ansatz mit weniger Trainingsinfrastruktur zu zuverlässigeren Agenten führt, dann ist das betriebswirtschaftlich spannender als noch ein Rabatt auf Chat-Antworten.
Die Zahlen im Abstract sind solide, aber man sollte sie nicht aufblasen. Auf WebArena-Lite verbessert die Full-Parameter-Optimierung von Qwen-3.5-27B die No-Skill-Baseline um 6,69 Prozent. Das ist kein Wunderheilmittel, aber bei agentischen Webaufgaben ist so ein Sprung relevant, weil jeder Prozentpunkt echte fehlgeschlagene Abläufe bedeuten kann. Außerdem berichtet das Paper, dass Agentic ESOpt bei automatischem Heuristikdesign zur Testzeit in 28 von 36 Settings besser abschneidet als die passende Baseline. Interessant ist die Kombination aus Prompt- und Parameterentwicklung. Der Agent kann also nicht nur andere Prompts ausprobieren, sondern Modellgewichte und Kontextstrategie zusammen verändern. Genau das passt zu der Richtung, in die Agenten gerade gehen. Wir reden nicht mehr nur über: Welches Modell ist schlau. Wir reden über Systeme, die Aufgabenumgebung, Skills, Prompts, Tools und Modellverhalten gemeinsam optimieren müssen. Der Haken: Das Abstract liefert noch nicht alle Details, die ich gern hätte. Sample-Effizienz bleibt eine offene Frage. Wenn du sehr viele Varianten ausführen musst, kann der Inferenzaufwand wieder teuer werden. Und WebArena-Lite ist ein Benchmark, keine Buchhaltung, kein Vertrieb, keine medizinische Dokumentation und kein echter Betrieb mit genervten Kunden. Also: starkes Signal, aber kein Freifahrtschein.
Wenn ich daraus eine praktische Regel machen müsste, dann diese: Wer Agenten produktiv einsetzen will, braucht früher oder später eine Evaluationsmaschine. Nicht bloß bessere Prompts oder ein größeres Modell. Eine Sammlung echter Aufgaben mit klarem Ergebnis. Hat der Agent die Rechnung richtig geprüft. Hat er die richtige Datei gefunden. Hat er die riskante Aktion vermieden. Hat er den Kundenfall sauber eskaliert. Ohne solche Aufgaben bringt dir auch Agentic ESOpt wenig, weil du nichts hast, woran die Varianten lernen. Das ist die unternehmerische Pointe. Der Vorsprung entsteht nicht dadurch, dass man irgendein Paper implementiert. Der Vorsprung entsteht dadurch, dass ein Team seine eigenen Arbeitsabläufe messbar macht. Dann kann man entscheiden: Brauche ich RL. Reicht Prompt-Optimierung. Kann ES helfen. Oder ist das Problem eigentlich ein schlechtes Tool-Design. Für kleine Firmen ist das sogar eine Chance. Große Unternehmen haben Daten, aber oft auch Prozesse, die niemand klar beschreiben will. Ein kleines Team mit zehn sauberen Aufgabentests kann schneller lernen als ein Konzern mit tausend unklaren Workflows. Mei, das klingt weniger sexy als Agenten, die selbstständig alles erledigen. Aber genau da wird es real.
Worauf ich heute komme: Agenten werden nicht dadurch nützlich, dass wir ihnen immer längere Prompts geben. Sie werden nützlich, wenn wir ganze Arbeitsläufe messen und verbessern können. Agentic ESOpt ist spannend, weil es dafür einen leichteren Trainingsweg andeutet: Varianten ausprobieren, ganze Trajektorien bewerten, Modell und Kontext gemeinsam schärfen. Für mich ist das ein gutes Donnerstagsthema, weil Kostenkontrolle hier nicht heißt: das billigste Modell nehmen. Kostenkontrolle heißt: weniger Blindflug beim Optimieren. Wenn ihr gerade eigene Agenten oder Automationen baut, nehmt euch diese Woche eine Aufgabe und schreibt auf, woran ihr objektiv erkennt, dass sie gelungen ist. Genau dort beginnt der eigentliche Hebel. Und wenn ihr mir erzählen wollt, welche Agentenaufgabe ihr zuerst messbar machen würdet, schreibt mir eine Mail, die Adresse steht in den Shownotes. Danke fürs Zuhören. Pfiat euch und bis morgen, eure Lissy.