Le MindStudio Team signe un explainer (12 juin 2026) sur les modèles de langage par diffusion, en s'appuyant sur Diffusion Gemma, première implémentation open weights de cette architecture, signée Google.
Le point de départ est une opposition de paradigmes. Les modèles autorégressifs qui dominent aujourd'hui (GPT-4, Claude, Gemma standard) génèrent le texte séquentiellement, un token à la fois, de gauche à droite, via une attention causale. Chaque sortie dépend de tous les tokens précédents : la génération ne peut être parallélisée entre positions, et chaque token est figé une fois produit — le modèle ne peut revenir sur ses choix.
changer d'avis
Les modèles par diffusion procèdent autrement : ils partent d'une séquence bruitée/masquée et la raffinent itérativement vers une sortie cohérente (diffusion masquée, ou absorbing diffusion). La passe avant masque progressivement les tokens ; le modèle apprend à les reconstruire ; l'inférence inverse le processus en plusieurs étapes de débruitage réglables. L'attention est bidirectionnelle : le modèle voit toute la séquence dans les deux sens et peut mettre à jour n'importe quelle position à n'importe quelle étape — « changer d'avis » sur des tokens antérieurs. La métaphore : écrire un brouillon puis le réviser, plutôt qu'une copie finale mot à mot.
Diffusion Gemma : 2 milliards de paramètres, base Transformer dérivée de Gemma 2, sortie début 2025, poids sur Hugging Face (Google DeepMind), aussi sur AI Studio et Vertex AI. Les adaptations clés : suppression du masquage causal, conditionnement au bruit, et prédiction simultanée des distributions sur toutes les positions masquées.
Avantages : parallélisme (un texte de 500 tokens demanderait 50-100 étapes plutôt que 500 passes séquentielles, d'où une vitesse potentiellement bien supérieure sur les sorties longues), infilling et génération sous contraintes naturels (templates, complétion de code avec contexte environnant, réécriture en préservant début/fin), et révision intégrée.
L'article assume une limite nette : à l'échelle de 2B, Diffusion Gemma ne rivalise pas avec les meilleurs autorégressifs (GPT-4o, Gemini 1.5 Pro) sur le raisonnement, le suivi d'instructions et les connaissances — l'écart « se referme » sans être comblé. Pour le conversationnel, le raisonnement multi-étapes ou le streaming token par token, mieux vaut rester autorégressif.
La filiation vient de l'image : Stable Diffusion et DALL-E ont quitté l'autorégressif il y a des années ; la question est de savoir si le même principe vaut pour le texte. Diffusion Gemma, par ses poids ouverts, en fait un terrain d'expérimentation pour la génération contrôlable.