Episode Details

Kleine und mittelgroße Open-Weight-Modelle holen in ihren Fähigkeiten rasant auf und laufen auf der eigenen Infrastruktur. Manche behaupten sogar, sie seien die Zukunft und könnten proprietäre Cloud-Anbieter als Standard-Weg für die Nutzung von KI ablösen. Aber wie betreibt man LLMs jenseits der Cloud - lokal und on prem?

Dieser Vortrag führt in das Thema „Inference Engineering“ ein und zeigt, wie sich der schnell wachsende Zoo an Tools und Konzepten sinnvoll strukturieren lässt. Denn sobald man über erste Spielereien mit Ollama hinausgeht, wird das Thema schnell zum Rabbit Hole. Begriffe und Technologien fliegen einem um die Ohren: KV-Cache, TurboQuant, Prefill/Decode Disaggregation, MoE-Modelle, vLLM vs. SGLang, LiteLLM vs. Portkey, KServe vs. llm-d vs. Dynamo, ...

Im ersten Teil des Vortrags räumen wir dieses Chaos auf und entwickeln ein Schichtenmodell des „Inference Stacks“. Ziel ist ein mentales Modell, das hilft, neue Technologien schnell einzuordnen und Zusammenhänge zu verstehen.

Darauf aufbauend betrachten wir konkrete Open-Source-Stacks und typische Deployment-Szenarien: vom lokalen Setup mit kleineren, quantisierten Modellen bis hin zu GPU-basierter Inferenz im eigenen Cluster. Dabei geht es weniger um alle Details einzelner Tools als um deren Einordnung und Zusammenspiel.

Der Vortrag richtet sich an Entwickler:innen und Architekt:innen, die LLMs nicht nur konsumieren, sondern verstehen und selbst betreiben wollen – sei es aus Interesse an Open Source, aus Compliance-Gründen oder für mehr Kontrolle über Kosten und Daten.

Voraussetzungen:
Um schnell auf die interessanteren Aspekte zu kommen, wird ein Basiswissen zu LLMs vorausgesetzt:

• Folgende Begriffe solltet ihr grob verstehen: Tokens, „das nächste Token vorhersagen“ (GPT), Context Window, Hugging Face.
• Optional: Wer schon einmal mit lokalen Modellen in Ollama oder LMStudio experimentiert hat und den Begriff „Quantisierung“ grob in eigenen Worten erklären kann, ist perfekt vorbereitet! Der Vortrag stellt diese Themen aber auch im Schnelldurchlauf vor.

Licensed to the public under http://creativecommons.org/licenses/by/4.0 about this event: https://programm.froscon.org/2026/events/3521.html