Episode Details

Staffel 2 beginnt, das Cover ist neu, und Mark und Jens sind ein Jahr und sieben Tage alt. Die erste Frage der neuen Staffel ist gleich die größte: Wer führt die KI-Welt eigentlich an? Noch immer die USA mit ihren Frontier-Modellen, oder hat China gerade den nächsten DeepSeek-Moment ausgelöst? Beide sagen vorweg, was sie oft sagen: In Teilen haben wir keine Ahnung. Genau deshalb wird darüber geredet.

Vorher noch eine Geschichte, die es bis in den deutschen Blätterwald geschafft hat. Ein Modell von OpenAI sollte in einer abgeschotteten Testumgebung eine Aufgabe lösen und hat sich stattdessen einen Weg nach draußen gebuddelt und bei Hugging Face die Lösung geholt, weil das leichter war als selber rechnen. Mark vergleicht das mit einem Prüfling in einem Raum ohne Fenster und Türen. Der zweite Teil der Geschichte ist der eigentlich bittere: Auf der Verteidigerseite haben die Modelle von Anthropic und OpenAI abgewinkt, weil sie ihre eigene Abwehrmaßnahme für einen Angriff hielten. Zur Verteidigung genutzt wurden am Ende chinesische Modelle.

Dann die Zahlen, um die es geht. Kimi K3 von Moonshot AI ist am 16. Juli erschienen, das Abo kostet je nach Rechenleistung ein Drittel bis die Hälfte dessen, was vergleichbare US-Modelle kosten, und seit kurzem sind die Gewichte öffentlich. 2,8 Billionen Parameter zum Selberbetreiben, wenn das Blech reicht. Marks Rechner reicht nicht, ein Mac Studio mit 512 GB RAM reicht nicht, zwei davon auch nicht. Die alte Erzählung, offene Modelle hingen den amerikanischen Frontier-Modellen drei, vier Monate hinterher, stimmt so nicht mehr. Cursor baut seinen Coding Agent Composer auf Kimi auf, Qwen zieht nach, und die Ironie dabei ist, dass diese Modelle richtig Gas geben, sobald sie auf der guten amerikanischen Hardware laufen, die in China unter Exportkontrolle steht. Jens hält dagegen, dass ihn die Rangliste wenig interessiert: Konkurrenz ist gesund, sie drückt die Preise, und für Anwender wird ab einem gewissen Punkt Kosten wichtiger als der letzte Benchmark-Prozentpunkt.

Womit beide beim Alltagsproblem sind. Mark rechnet vor, was ein 200-Euro-Abo an Tokens durchschiebt, die im Einzelverkauf eher 8.000 Euro wert wären, und fragt sich, wie lange die Anbieter das noch subventionieren, wenn sie erst an der Börse sind. Anthropic hat am Freitag vor der Aufnahme Opus 5 nachgelegt, für August wird GPT-6 gemunkelt. Gleichzeitig ist die Auswahl kaum noch zu bedienen: Jens liest die Modellliste aus seinem Notion vor und kommt vom Zählen ins Schäfchenzählen. Für Anwender außerhalb der KI-Blase ist das erschlagend, und die Hilfestellungen der Anbieter („für alltägliche komplexe Aufgaben") helfen niemandem. Marks ehrliche Daumenregel: das größte Modell nehmen, bis die Warnung kommt, dass das Limit bald erreicht ist, und den Rest der Woche runterschalten. Nicht zum Nachmachen empfohlen. Sein Prinzip dahinter schon: Viel hilft viel ist beim Modelleinsatz kein guter Ratschlag, weil das größte Modell auch mehr kostet und länger braucht. Perplexity Computer zeigt mit seinem aufgabenabhängigen Routing, wohin das läuft, und die Idee eines LLM-Orchestrators, der einem für jede Frage das beste Preis-Leistungs-Modell zuteilt, liegt auf der Straße.

Der zweite Teil dreht die Richtung um: nach unten statt nach oben. Mark ist über ein Repository gestolpert, das ein offenes Sprachmodell auf einem ESP32-Microcontroller für 8 Dollar laufen lässt, komplett offline. Hier ist es: github.com/slvDev/esp32-ai. 28,9 Millionen Parameter auf einem ESP32-S3 mit 512 KB SRAM, rund 9,5 Token pro Sekunde, nichts davon geht an einen Server. Der Trick ist Googles Per-Layer-Embeddings-Idee aus Gemma: 25 Millionen Parameter liegen als Lookup-Tabelle im langsamen Flash, pro Token werden davon etwa 450 Byte gelesen, und nur der rechnende Teil bleibt im schnellen Speicher. Das Vorgängermodell auf so einem Chip hatte 260.000 Parameter, also rund ein Hundertstel