Diffusion Language Models Explained: How Google's Diffusion Gemma Works
Lehrreicher Artikel des **MindStudio Team** (Blog der MindStudio-Plattform, Orchestrierung von Multi-Modell-Workflows), der **modèles de langage par diffusion** (*Diffusion Language Models*) anhand des Beispiels von **Diffusion Gemma** erklärt, Googles erster **Open-Weights**-Implementierung (2 Milliarden Parameter, abgeleitet von Gemma 2). Die These: Während **autoregressive** Modelle (GPT-4, Claude, Standard-Gemma) Text **Token für Token, von links nach rechts** generieren (kausale Aufmerksamkeit, jedes Token nach der Erzeugung fixiert), starten **Diffusionsmodelle** von einer **maskierten/verrauschten** Sequenz und **verfeinern sie iterativ** (masked diffusion / *absorbing diffusion*), mit **bidirektionaler Aufmerksamkeit**: Das Modell kann **jede Position zu jedem Zeitpunkt überarbeiten**. Konsequenzen: hohe **Parallelität** (ein Text mit 500 Token würde 50-100 Denoising-Schritte statt 500 sequenzieller Durchläufe erfordern), natürliches **Infilling** und **beschränkte Generierung** (Template-Ausfüllung, Codevervollständigung mit umgebendem Kontext) sowie eingebaute **Überarbeitungsfähigkeit**. Aber im aktuellen Maßstab (2B) **erreicht** Diffusion Gemma die großen autoregressiven Modelle (GPT-4o, Gemini 1.5 Pro) bei Schlussfolgerung, Befolgung von Anweisungen und Allgemeinwissen **nicht**: Die Lücke „schließt sich“, ohne geschlossen zu sein. Die Inspiration stammt aus der Bildgenerierung (Stable Diffusion, DALL-E haben die Autoregression vor Jahren hinter sich gelassen); ob dasselbe Prinzip für Text gilt, bleibt eine offene Frage. Diffusion Gemma wird auf Hugging Face (Google DeepMind), AI Studio und Vertex AI verbreitet.
MindStudio Team