Das MindStudio Team veröffentlicht einen Explainer (12. Juni 2026) zu modèles de langage par diffusion, gestützt auf Diffusion Gemma, die erste Open-Weights-Implementierung dieser Architektur, von Google.

Der Ausgangspunkt ist ein Zusammenprall von Paradigmen. Die heute dominierenden autoregressiven Modelle (GPT-4, Claude, Standard-Gemma) generieren Text sequenziell, ein Token nach dem anderen, von links nach rechts, über kausale Aufmerksamkeit. Jede Ausgabe hängt von allen vorangegangenen Token ab: Die Generierung kann über Positionen hinweg nicht parallelisiert werden, und jedes Token ist nach der Erzeugung fixiert — das Modell kann seine Entscheidungen nicht mehr überarbeiten.

Diffusionsmodelle gehen anders vor: Sie starten von einer verrauschten/maskierten Sequenz und verfeinern sie iterativ hin zu einer kohärenten Ausgabe (masked diffusion, oder absorbing diffusion). Der Vorwärtsprozess maskiert Token schrittweise; das Modell lernt, sie zu rekonstruieren; die Inferenz kehrt den Prozess über mehrere einstellbare Denoising-Schritte um. Die Aufmerksamkeit ist bidirektional: Das Modell sieht die gesamte Sequenz in beide Richtungen und kann jede Position zu jedem Zeitpunkt aktualisieren — es „ändert seine Meinung“ über frühere Token. Die Metapher: einen Entwurf schreiben und ihn dann überarbeiten, statt eine endgültige Fassung Wort für Wort zu produzieren.

Diffusion Gemma: 2 Milliarden Parameter, Transformer-Basis abgeleitet von Gemma 2, veröffentlicht Anfang 2025, Gewichte auf Hugging Face (Google DeepMind), auch auf AI Studio und Vertex AI. Zentrale Anpassungen: Entfernung der kausalen Maskierung, Rauschkonditionierung (noise conditioning) und gleichzeitige Vorhersage von Verteilungen über alle maskierten Positionen.

Vorteile: Parallelität (ein Text mit 500 Token würde 50-100 Schritte statt 500 sequenzieller Durchläufe erfordern, somit potenziell deutlich höhere Geschwindigkeit bei langen Ausgaben), natürliches Infilling und beschränkte Generierung (Templates, Codevervollständigung mit umgebendem Kontext, Umschreiben unter Beibehaltung von Anfang/Ende) sowie eingebaute Überarbeitung.

Der Artikel benennt eine klare Einschränkung: Im 2B-Maßstab erreicht Diffusion Gemma die besten autoregressiven Modelle (GPT-4o, Gemini 1.5 Pro) bei Schlussfolgerung, Befolgung von Anweisungen und Wissen nicht — die Lücke „schließt sich“, ohne geschlossen zu sein. Für den konversationellen Einsatz, mehrstufiges Schlussfolgern oder Token-für-Token-Streaming bleiben autoregressive Modelle die bessere Wahl.

Die Abstammungslinie führt zurück zu Bildern: Stable Diffusion und DALL-E haben die Autoregression vor Jahren hinter sich gelassen; die offene Frage ist, ob dasselbe Prinzip für Text gilt. Diffusion Gemma wird durch seine offenen Gewichte zu einem Testfeld für steuerbare Generierung.