Il MindStudio Team pubblica uno explainer (12 giugno 2026) sui modèles de langage par diffusion, basandosi su Diffusion Gemma, la prima implementazione open weights di questa architettura, di Google.

Il punto di partenza è uno scontro di paradigmi. I modelli autoregressivi che dominano oggi (GPT-4, Claude, Gemma standard) generano testo sequenzialmente, un token alla volta, da sinistra a destra, tramite attenzione causale. Ogni output dipende da tutti i token precedenti: la generazione non può essere parallelizzata tra le posizioni, e ogni token è fissato una volta prodotto — il modello non può tornare sulle proprie scelte.

I modelli a diffusione procedono diversamente: partono da una sequenza rumorosa/mascherata e la raffinano iterativamente verso un output coerente (masked diffusion, o absorbing diffusion). Il passaggio in avanti maschera progressivamente i token; il modello impara a ricostruirli; l'inferenza inverte il processo su diversi passi di denoising regolabili. L'attenzione è bidirezionale: il modello vede l'intera sequenza in entrambe le direzioni e può aggiornare qualsiasi posizione in qualsiasi passo — "cambiare idea" su token precedenti. La metafora: scrivere una bozza e poi rivederla, anziché una copia definitiva prodotta parola per parola.

Diffusion Gemma: 2 miliardi di parametri, base Transformer derivata da Gemma 2, rilasciato all'inizio del 2025, pesi su Hugging Face (Google DeepMind), anche su AI Studio e Vertex AI. Adattamenti chiave: rimozione del mascheramento causale, condizionamento sul rumore (noise conditioning), e predizione simultanea delle distribuzioni su tutte le posizioni mascherate.

Vantaggi: parallelismo (un testo di 500 token richiederebbe 50-100 passi anziché 500 passaggi sequenziali, quindi una velocità potenzialmente molto più alta su output lunghi), infilling naturale e generazione vincolata (template, completamento di codice con contesto circostante, riscrittura preservando inizio/fine), e revisione integrata.

L'articolo espone un limite chiaro: alla scala di 2B, Diffusion Gemma non eguaglia i migliori modelli autoregressivi (GPT-4o, Gemini 1.5 Pro) su ragionamento, seguimento delle istruzioni e conoscenza — il divario si sta "colmando" senza essere colmato. Per l'uso conversazionale, il ragionamento multi-step o lo streaming token per token, i modelli autoregressivi restano la scelta migliore.

La filiazione risale alle immagini: Stable Diffusion e DALL-E hanno abbandonato l'autoregressione anni fa; la domanda aperta è se lo stesso principio valga per il testo. Diffusion Gemma, grazie ai suoi pesi aperti, ne fa un banco di prova per la generazione controllabile.