Episode Details

Titel: #150 - Der Harness ist die Arbeit: Warum der Koch nicht der Punkt ist

Es gibt ein GitHub-Repo, das vor ein paar Tagen released wurde und gerade das am schnellsten wachsende Repo ist, das GitHub je gesehen hat. Waehrend ich das aufnehme - Freitagabend, 21. August - hat es schon 170.000 Sterne. Es heisst DeepSeek Harness. Und zwei Tage nachdem DeepSeek ihren released hat, hat OpenAI auch einen released.

Die Frage, die ich mir gestellt hab, bevor ich's verstanden hab: wenn ich schon Claude Code oder Codex hab, wozu brauch ich noch einen Harness? Und dann hat's klick gemacht. Das Modell ist nicht die Firma. Das Modell ist der Koch. Der beste Koch der Welt macht im Foodtruck kein Wunder. Der gleiche Koch in einem Sternerestaurant, mit fuenfzig Leuten drumherum - dann schon. Der Harness ist die Kueche.

📍 Was diese Folge abdeckt: was ein Harness eigentlich ist (mit dem Papier, das den Quellcode von Claude Code gelesen hat); wer den Begriff wirklich erfunden hat (nicht OpenAI); drei echte Beispiele, wo ein Harness funktioniert - und wo nicht; die ehrliche Antwort auf die Token-Frage, inklusive einer Stimme aus OpenAI selbst; und der Harness, mit dem diese Folge gebaut wurde - inklusive der zwei Stellen, wo er den eigenen Bauherren erwischt hat.

🍳 Drei Parteien, drei Rollen. Mitchell Hashimoto (Terraform, HashiCorp) hat den Begriff "Harness Engineering" am 5. Februar auf seinem Blog benannt - und explizit gesagt, er beansprucht nicht, ihn erfunden zu haben. Sechs Tage spaeter macht OpenAI den Begriff beruehmt, mit einem Post, der ihn nirgends definiert. Und die Formel, die alle zitieren - Agent gleich Modell plus Harness - steht auf DeepSeeks eigener Produktseite, nicht auf OpenAIs.

📋 Wo ein Harness wirklich gut ist - drei echte Beispiele.

1. Die Infrastruktur, an die ihr nicht rankommt. Ein fuenfzehn Jahre altes SAP-System ohne API. Der Blocker ist nicht technisch, es ist ein Programm, das Menschen noch von Hand klicken - und der Betriebsrat. Vor einem Jahr waren's achtzig Prozent meiner Kunden mit Aufnahmeverbot bei Meetings, heute noch vierzig bis fuenfzig Prozent.

2. Abgleich mit sich bewegenden Zielen. Zwei Datenstaende, die nicht uebereinstimmen sollen, und ein Format, das sich jeden Monat leicht aendert. Ich sag's ehrlich: bei uns hat der Harness zwanzig bis vierzig Prozent MEHR Tokens gebraucht und laenger gedauert. Aber ich musste ihn nicht fuenfzigtausend Mal anschubsen.

3. Lange Checklisten und harte Regeln. Ein KI-Agent wird bei der fuenften Sache auf der Liste schon faul. Ein Harness ist das Rennpferd - ohne Sattel und Zaumzeug laeuft's euch weg.

🗣️ Was Leute wirklich sagen. Armin Ronacher (Mitgruender Earendil), auf X: "Ich glaub nicht, dass der DeepSeek Harness perfekt ist, aber das ist definitiv das erste Mal seit langem, dass mich was Neues wirklich inspiriert hat, unsere eigenen Entscheidungen zu ueberdenken." Und auf Hacker News, unter OpenAIs eigenem Post, ein Nutzer, der sich als OpenAI-Ingenieur zu erkennen gibt: "Mehr als die Haelfte der Agenten-Laeufe hat unsere Standards nicht erfuellt. Unser Job wurde, den Harness jedes Mal nachzujustieren." Und die trockenste Reaktion: "Prompt Engineering, Context Engineering, jetzt Harness Engineering. Ich schaetz, in ein paar Monaten sind wir wieder bei Software Engineering."

🪞 Der Harness, der diese Folge gebaut hat. Neun Agenten, einer pro Recherchequelle, jeder schreibt jede Behauptung mit exakter Quelle in eine Datei: 1.376 einzelne Behauptungen aus fuenf Deep-Research-Berichten. Dann zwoelf weitere Agenten, deren einziger Job war, diese Behauptungen zu zerstoeren statt zu pruefen. 41 hab