Diffusion Language Models Explained: How Google's Diffusion Gemma Works
Article pédagogique du **MindStudio Team** (blog de la plateforme MindStudio, orchestration de workflows multi-modèles) expliquant les **modèles de langage par diffusion** (*Diffusion Language Models*) à travers le cas de **Diffusion Gemma**, première implémentation **open weights** de Google (2B paramètres, dérivée de Gemma 2). La thèse : là où les modèles **autorégressifs** (GPT-4, Claude, Gemma standard) génèrent le texte **token par token, de gauche à droite** (attention causale, chaque token figé une fois produit), les modèles par **diffusion** partent d'une séquence **masquée/bruitée** et la **raffinent itérativement** (diffusion masquée / *absorbing diffusion*), avec **attention bidirectionnelle** : le modèle peut **réviser n'importe quelle position à n'importe quelle étape**. Conséquences : **parallélisme** élevé (un texte de 500 tokens nécessiterait 50-100 étapes de débruitage au lieu de 500 passes séquentielles), **infilling** et **génération sous contraintes** naturels (remplissage de templates, complétion de code avec contexte environnant), et capacité de **révision intégrée**. Mais à l'échelle actuelle (2B), Diffusion Gemma **ne rivalise pas** avec les grands autorégressifs (GPT-4o, Gemini 1.5 Pro) sur le raisonnement, le suivi d'instructions et les connaissances générales : l'écart « se referme » sans être comblé. L'inspiration vient de l'image (Stable Diffusion, DALL-E ont quitté l'autorégressif il y a des années) ; reste à savoir si le principe tient pour le texte. Diffusion Gemma est distribuée sur Hugging Face (Google DeepMind), AI Studio et Vertex AI.
MindStudio Team