Episode Details
Back to EpisodesEpisode 202 - KI im Schlafmodus: Wie Sleep-Time-Compute Sprachmodelle effizienter macht
Season 1
Episode 202
Published 11 months, 1 week ago
Description
In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der KI-Optimierung ein: Wie können Leerlaufzeiten genutzt werden, um Sprachmodelle effizienter zu machen? Mit einem Blick auf das Paper Sleep-Time-Compute der UC Berkeley diskutieren sie, wie Vorverarbeitung und Caching Latenzen reduzieren, Kosten sparen und sogar bessere Ergebnisse liefern.
Sleep time Compute: https://arxiv.org/abs/2504.13171