Gleiches Modell, andere Software: Warum das KI-Harness entscheidet

Ich habe Fireships Video vom 20. August allein wegen des Titels angeklickt: „DeepSeek is back... and Silicon Valley is terrified." Fünf Minuten und 32 Sekunden später hatte ich ein Wort im Kopf und einen Browser voller offener Tabs – ungefähr so, wie mich Vercels Vibe-Coding-Report im Juli hineingezogen hat.

Das Wort heißt Harness. Ich halte es für den nützlichsten Begriff, den die KI-Branche dieses Jahr geprägt hat – und fast niemand, der KI-Software kauft, hat ihn je gehört.

Das Gehirn und der Gurt

Fireships Erklärung ist die, die ich inzwischen in Verkaufsgesprächen wiederhole. Ein Modell sagt Tokens vorher. Das ist das Gehirn. Damit das Gehirn Software schreibt, schnallt man Maschinen darum: Tools, ein Dateisystem, eine Sandbox, Kontextmanagement und einen Loop, der entscheidet, wann es weitergeht und wann Schluss ist. Der Gurt ist das Harness. Claude Code ist ein Harness. Codex, Cursor, Cline und OpenCode ebenfalls. Das Modell darunter ist weit öfter austauschbar, als das Branding vermuten lässt.

Vivek Trivedy von LangChain hat die Definition geschrieben, die heute alle zitieren: Ein Harness ist jeder Code und jede Konfiguration, die nicht das Modell selbst ist. Seine komprimierte Version reist weiter: If you're not the model, you're the harness. Ein rohes Modell überlebt keinen Crash mit State, führt keine Testsuite aus, verweigert keinen gefährlichen Befehl und erinnert sich nicht daran, was es letzten Dienstag getan hat. All das lebt im Gurt.

Das wäre Trivia – wäre da nicht das, was passiert, wenn man das Modell festhält und den Gurt wechselt.

Gleiche Weights, andere Scores

Vercel hat das sauberste Vorher-nachher veröffentlicht, das ich kenne. Deren interner Text-zu-SQL-Agent d0 lief mit Claude Opus 4.5 unter monatelang gewachsener Maschinerie: Schema-Lookup-Tools, Validatoren, handgebaute Retrieval-Pipelines und ein Prompt, dick genug für eigene Wartung. Dann löschten sie rund 80 % der Tools und ließen dasselbe Modell mit Bash- und SQL-Zugriff auf ihre Semantic-Layer-Files zurück. Der Erfolg bei ihren Benchmark-Queries stieg von 4/5 auf 5/5, die durchschnittliche Laufzeit sank von 274,8 auf 77,4 Sekunden. Die schlechste Query verbrannte früher 724 Sekunden und 145.463 Tokens über 100 Steps und scheiterte trotzdem; der abgespeckte Agent schloss sie in 141 Sekunden mit 67.483 Tokens. Vercels eigenes Fazit: Sie hatten dem Modell das Denken abgenommen.

Wäre das eine Anekdote, würde ich mit den Achseln zucken. Sie hat Gesellschaft.

• LangChain hob einen Coding-Agenten von 52,8 % auf 66,5 % bei Terminal Bench – indem es nichts als das Harness änderte.
• Bei Terminal-Bench 2.0 beobachtete Han Lee, wie Letta Code 59,1 % mit Claude Opus 4.5 erreichte, während Claude Code, das First-Party-Produkt, auf denselben Weights 41,6 % holte.
• Princetons CORE-Bench maß ein Modell mit 42 % unter einem Scaffold und 78 % unter einem anderen, und Harvey verdoppelte die Genauigkeit seiner Legal-Agenten mehr als – allein durch Wrapper-Arbeit. MongoDB hat beide Ergebnisse gesammelt, als Argument dafür, dass das LLM der kleinste Teil eines Agent-Systems ist.
• Ein Positionspapier von 2026, arXiv 2605.23950, nagelt das Muster fest. Claude Opus 4.5 erreicht 45,9 % auf SWE-bench Pro unter dem standardisierten SEAL-Scaffold und 55,4 % in Claude Code. Das Holistic Agent Leaderboard meldet Scaffold-übergreifende Schwankungen von 34 Punkten für Claude Sonnet 4.5 und fast 48 für o4-mini. Im kontrollierten Raster der Autoren bewegte der Harness-Wechsel pass@1 um 8,5 bis 13 Punkte; der Modell-Wechsel um 2,5 bis 5.

Der Titel dieses Papers ist die ganze Beschwerde, höflich formuliert: Vergleicht keine LLM-Agenten, ohne das Harness offenzulegen. Jeder publizierte Score wird gemeinsam von Weights und Wrapper produziert – und der Wrapper-Anteil ist oft größer. Ein Leaderboard, das nur den Modellnamen druckt, versteckt die halbe Methode.

Warum ein Wrapper den anderen schlägt

Die Gründe sind unglamourös. Addy Osmani, der diese Disziplin seit dem Frühjahr dokumentiert, formuliert die Konsequenz schlicht: Ein ordentliches Modell mit großartigem Harness schlägt ein großartiges Modell mit schlechtem Harness.

Der erste Grund ist das Tool-Menü. Gib einem Modell fünfzehn überlappende Tools, und es verbrennt Tokens für die Auswahl – um dann trotzdem falsch zu wählen. Vercels Schnitt auf Bash plus SQL ist der Extremfall dafür, dass ein kleines Menü gewinnt.

Der zweite ist Memory. Letta Code ist um ein Memory-Substrat gebaut; Claude Code hält Memory bewusst dünn. Terminal-Bench 2.0 belohnt Erinnern – also schlug ein Drittanbieter-Wrapper Anthropics eigenes Produkt auf Anthropics eigenen Weights. Das Modell hat sich nicht geändert. Das Produkt drumherum schon.

Der dritte ist Post-Training-Fit. Trivedy weist darauf hin, dass heutige Agent-Modelle mit einem bestimmten Harness im Loop post-trainiert werden. Tauscht man Codex' apply_patch-Tool gegen ein anderes Edit-Format, wirkt ein Modell, das flüssig aussah, plötzlich unbeholfen – weil es in genau diesem Tool aufgewachsen ist. Das beste Harness für Ihre Aufgabe ist nicht automatisch das, in dem das Modell groß wurde.

Der vierte ist der, der mir in Kundenarbeit am wichtigsten ist: Permissions. Sandboxing, Netzwerk-Isolation, Spend-Caps, Audit-Trails. Han Lee hat einen Test für Wrapper-Investitionen: Würde ein besseres Modell das überflüssig machen? Context Compaction, vermutlich. Retry-Logik, vermutlich. Permission-Grenzen und Audit-Trails, nein. Die überleben die nächste Modellgeneration – und sind damit der Teil, den es sich lohnt, gut zu bauen. Es ist dieselbe Logik, die wir anwenden, wenn ein Kunde uns einen „Agenten" pitcht, der in Wahrheit ein Workflow mit einem Judgment-Schritt ist: Das Modell dorthin, wo Urteil lebt – und deterministische Schienen überall sonst.

Das ist längst größer als Coding-Tools

Coding-Agenten haben das Wort berühmt gemacht, aber dieselbe Physik regiert jeden Agenten, den ein Unternehmen deployt. Harveys verdoppelte Genauigkeit ist ein Kanzlei-Ergebnis; es ist der Unterschied zwischen einem Legal-Agenten, den man supervisen kann, und einem, den man nicht kann. Vercels d0 ist im Kern ein interner Analytics-Bot – und ob er korrekt antwortet, entscheidet, ob die Belegschaft ihn nutzt oder wieder das Data-Team auf Slack anpingt. In dem Automotive-KI-System, das wir geliefert haben, waren die Modelle der einfache Teil. Das Produktionssystem darum – von Retrieval und Guardrails bis Evals und Observability – war das Projekt. Käufer fragen noch immer, welches Modell wir empfehlen. Die ehrliche Antwort ist: Welchen Wrapper wir bereit sind zu betreiben.

DeepSeek hat jedes Teil des Wrappers zum Plugin gemacht

DeepSeek Harness ging am 13. August in die Developer Preview, und seine Design-Regel passt in vier Worte: Alles ist ein Plugin. Der Modell-Adapter ist ein Plugin. Die Tools sind Plugins. Genauso Sandbox, Storage, UI und der Agent-Loop in der Mitte. Jedes tauscht man mit einer Zeile YAML. Fireship nannte es Linux für KI-Agenten – und nach Lektüre der Docs finde ich: Das sitzt.

Darunter liegt Cordis, ein kleiner Kernel, beschrieben in einem Paper der Peking-Universität mit DeepSeek über „spatiotemporale Komponierbarkeit“ – die Idee, dass Komponenten sowohl als Dependencies als auch über die Zeit hot-swap-fähig sein sollten. The New Stack zog die schärfste Zeile heraus: Es gibt keinen privilegierten Core zu patchen. Die Runtime hängt auch nicht an DeepSeeks Modellen. Man zeigt sie auf Anthropic, OpenAI, Bedrock, Gemini oder einen lokalen Endpoint – oder lässt Claude Code und Codex als Child-Prozesse darin laufen. Ein Wrapper, der andere Wrapper wrapped.

Sie bringt vier Presets aus derselben Plugin-Tüte mit: Standard (der volle Coding-Agent), Code (Tools über ein TypeScript-SDK exponiert, sodass das Modell ein Programm schreibt statt fünf Round-Trips zu machen), Minimal (persistente Bash plus ein File-Editor – der Modus, mit dem DeepSeek seine eigenen publizierten Benchmark-Scores fuhr) und Creator (um eigene Presets zu bauen). Jeder Run schreibt einen Append-only-Log von allem, was das Modell sah. Die Trajectory-View liest sich wie ein Stack-Trace für einen Gedankenprozess – und Resume, Fork, Search und Replay operieren alle auf diesem einen Stream.

Fireships Demo lieferte die einprägsamen Zahlen. Er zeigte DeepSeek V4 Pro einen One-Shot-Prompt für eine Swipe-App namens Horse Tender und beobachtete das Trajectory-Panel knapp dreißig Minuten lang. Heraus kam eine lauffähige Node- und React-Anwendung: 2,6 Millionen Output-Tokens, dreißig Cent. Er räumte ein, Fable oder Codex hätten das hübschere UI gebaut. Es shippte trotzdem.

Die Sterne verraten, wie hungrig Entwickler auf diese Form sind. The New Stack zählte 33.000 innerhalb von Stunden nach Release. Phil Winder zitierte grob 95.000 zwei Tage später. Als ich das Repo prüfte, stand es bei 197.000 Sternen und 22.400 Forks – unter MIT-Lizenz und einer Warnung in Versalien vor kompatibilitätsbrechenden Änderungen. Der Core nimmt noch keine externen Pull Requests an; die Einladung lautet: Publiziert Plugins.

Das ist der Trade-off, schlicht ausgesprochen. Winder betreibt es in seiner Flotte und würde keinen Kunden-Release-Prozess dahinterstellen. Ich auch nicht. Diesen Monat ist es eine Architektur, die man studieren sollte – kein Fundament, auf das man ein Kundensystem stellt.

Die Frage zum Einstieg

Wer Agent-Vendoren vergleicht oder ein Automatisierungsprojekt scoped, sollte nicht mit „Welches Modell nutzen Sie" einsteigen. Jeder Vendor quotet inzwischen ein Frontier-Modell. Fragen Sie stattdessen, was der Agent tun darf, woran er sich zwischen Sessions erinnert, was er nicht zerstören kann – und ob man die Session replayen kann, wenn er etwas tut, das niemand erklären kann. Diese vier Antworten beschreiben das Harness. Und das Harness ist das Produkt, das Sie tatsächlich kaufen.

Ich liege vielleicht falsch damit, wie lange DeepSeeks Preview eine Preview bleibt; gehypte Runtimes sind schon stecken geblieben. Die Belege oben hängen nicht daran. Zwei Teams können dieses Quartal dasselbe Modell kaufen und am Ende zwei verschiedene Software-Stücke betreiben. Wer die auseinanderhalten will, bevor er unterschreibt – dieses Gespräch führen wir wöchentlich.

---

Wenn Sie die Tabs wollen, die ich wirklich offen behielt:

• Fireship: DeepSeek is back... and Silicon Valley is terrified
• DeepSeek Harness: alles ist ein Plugin
• deepseek-ai/deepseek-harness auf GitHub
• Vercel: Wir haben 80 % der Tools unseres Agenten entfernt
• Vivek Trivedy: Die Anatomie eines Agent-Harness
• Addy Osmani: Agent-Harness-Engineering
• Han Lee: Die versteckte technische Schuld des Agent-Harness
• Phil Winder: Ein Vergleich von KI-Agent-Harnesses 2026
• arXiv 2605.23950: Stoppt den Vergleich von LLM-Agenten ohne offengelegtes Harness