Episode Details

Title: #148 - Eure Antwort: lokale KI-Modelle, die euch keiner verbieten kann (Teil 2)

Teil 1 war das Drama: Fable 5 nach drei Tagen abgeschaltet, dasselbe Spiel jetzt mit GPT-5.6, und wir in Europa stehen da ohne Lösung. Teil 2 ist die Antwort. Und die ist nicht „warten, bis die Amerikaner uns wieder ein Modell geben" — sondern „fahrt eure eigenen Modelle, in eurem Serverraum, auf eurem Laptop, und keiner kann sie euch wegnehmen". Action, let's go.

📍 Worum es heute geht: Open-Weight-Modelle wie Gemma 4, Qwen, DeepSeek V3/V4 und Mistral Nemo laufen heute lokal — ohne Internet, ohne dass eure Daten das Gebäude verlassen. Ein bisschen schlechter als die Frontier-Modelle, ja. Aber „ein bisschen schlechter" heißt in der KI-Welt 10-20 % schlechter — und das reicht vollkommen für das, was ihr wirklich macht. Diese Folge zeigt euch die Hardware, den Ein-Zeilen-Setup, den DSGVO-Vorteil und was ihr am Montag früh als CTO, CFO und Vorstand konkret tut.

📊 Erst mal vergleichen. Es gibt ein Paper, das zeigt, wie man die Modelle gegeneinander aufstellt: unten die Kosten, um das Modell laufen zu lassen, links die Evaluierung über mehrere Benchmarks — Mathematik, Coding, Reasoning. Da seht ihr Gemma 4, Qwen 3.7 und Co. Klar, auf der Coding-Benchmark liegt ein Qwen 2.5 bei 30 % und ein Fable 5 bei 80 %. Aber für eure Workflows — Angebote durchlesen, E-Mails schreiben, beim Coden helfen, in mehreren Sprachen arbeiten — braucht ihr kein Frontier-Modell. Das können die Offenen alle.

🛠️ Der Ein-Zeilen-Trick. Wisst ihr, wie ihr so ein Modell aufsetzt? Ihr macht Claude Code oder Codex auf und tippt: „Ich möchte Gemma 4 hier auf meinem PC ohne Internet nutzen. Mach mal." Das war der ganze Prompt. Dann läuft das Ding circa 10 Minuten, lädt sich Ollama runter, zieht das Modell, deployt es — fertig. So leicht ist es geworden, Open-Weight-Modelle zu nutzen. Datenschutz-Dinosaurier dürfen in der Garage bleiben.

🏦 Der JP-Morgan-Tresor-Vergleich. DSGVO verbietet die Übermittlung personenbezogener Daten in Drittländer ohne angemessenes Schutzniveau — das große Problem der US-Cloud-Anbieter. Wenn ihr aber Qwen 2.5 oder Gemma 4 in eurem Serverraum in Stuttgart oder Wien fahrt, verlassen die Daten nicht mal den Rechner. Kein Transfer, kein Artikel 44. Sogar Privacy by Design — Artikel 25. Stellt's euch so vor: Euer Geld bei JP Morgan in der Schweizer Filiale ist immer noch JP Morgan. Aber wenn das Geld im eigenen Tresor zu Hause liegt, ist das das Sicherste. Eure Head of Compliance und Legal Head werden sich freuen.

💻 „Aber ich bin Mittelständler, ich hab kein Rechenzentrum." Brauchst du nicht. Du gehst und kaufst dir einen Mac mit 16 GB RAM — beim Saturn um 1.500 bis 2.000 Euro. Installierst Claude Code, deployst Gemma 4, und lässt jede Person in der Firma darauf arbeiten. Das reicht vollkommen für Dokumentenextraktion, Zusammenfassungen, RAG-Queries, interne Dokumente. Du willst mehr? Workstation mit zwei RTX 4090, dann kostet das Teil 6.000 statt 2.000 Euro. Und wenn du deine API-Kosten der letzten Wochen anschaust, sind 4.000 bis 6.000 Euro: Peanuts. DeepSeek V3 ist über Apache 2.0 verfügbar — deutsche Firmen bieten euch das gehostet im Allgäu, in Zürich oder Wien an. Wieder kein Artikel-44-Problem.

🇪🇺 „Modellbehindert" — und genau das ist unser Vorteil. Die Amerikaner sehen uns als total handicapped: „Die Europäer haben ja kein gescheites Modell." Aber genau weil wir am Modell behindert sind — und vor allem wegen dem Datenschutz — hat uns das gezwungen, uns viel, viel früher mit Open-Weight-Modellen zu beschäftigen. Pharma, Finanzen, Gesundheit: ganze Architekturen, die nur auf Open Weights basieren, weil DSGVO uns dazu gezwungen hat. Uns kann es wortwörtlich wurscht sein, ob Fable 5, Mythos oder GPT 5.6 kommt od