Episode Details

Dieser Vortrag beschreibt meine Erfahrungen bei der Konzeption und dem Betrieb eines vollständig lokalen KI‑Stacks. Der Fokus liegt dabei auf der Kombination aus Hardware, LLM‑Servern, quantisierten Modellen, UI‑Clients sowie der Agenten‑Architektur. Ziel ist es, praxisorientierte Erkenntnisse zu geben, um KI‑Modelle ohne Cloud‑Abhängigkeiten einzusetzen. Der Trend zu KI‑gestützter Softwareentwicklung wächst, und dabei spielt die Möglichkeit, Modelle lokal auszuführen, eine wichtige Rolle spielt die Datensicherheit. In diesem Beitrag schildere ich meinen eigenen Aufbau und die daraus gewonnenen Erkenntnisse. Dabei gehe ich auf Hardware, Server, Modelle, Parameter, Clients, Agenten und konkrete Anwendungsbeispiele ein. Licensed to the public under http://creativecommons.org/licenses/by/4.0 about this event: https://chemnitzer.linux-tage.de/2026/de/programm/beitrag/170