El MindStudio Team publica un explainer (12 de junio de 2026) sobre los modèles de langage par diffusion, basándose en Diffusion Gemma, la primera implementación de open weights de esta arquitectura, de Google.

El punto de partida es un choque de paradigmas. Los modelos autoregressive que dominan hoy (GPT-4, Claude, Gemma estándar) generan texto secuencialmente, un token a la vez, de izquierda a derecha, mediante atención causal. Cada salida depende de todos los tokens precedentes: la generación no puede paralelizarse entre posiciones, y cada token queda fijado una vez producido — el modelo no puede revisar sus elecciones.

Los modelos de diffusion proceden de otra manera: parten de una secuencia con ruido/enmascarada y la refinan iterativamente hacia una salida coherente (masked diffusion, o absorbing diffusion). El paso hacia adelante enmascara progresivamente los tokens; el modelo aprende a reconstruirlos; la inferencia invierte el proceso a lo largo de varios denoising steps ajustables. La atención es bidireccional: el modelo ve toda la secuencia en ambas direcciones y puede actualizar cualquier posición en cualquier paso — "cambiar de opinión" sobre tokens anteriores. La metáfora: escribir un borrador y luego revisarlo, en lugar de una copia final producida palabra por palabra.

Diffusion Gemma: 2.000 millones de parámetros, base Transformer derivada de Gemma 2, publicado a principios de 2025, pesos en Hugging Face (Google DeepMind), también en AI Studio y Vertex AI. Adaptaciones clave: eliminación del enmascaramiento causal, noise conditioning, y predicción simultánea de distribuciones sobre todas las posiciones enmascaradas.

Ventajas: paralelismo (un texto de 500 tokens requeriría 50-100 pasos en lugar de 500 pasadas secuenciales, de ahí una velocidad potencialmente mucho mayor en salidas largas), infilling natural y generación restringida (plantillas, completado de código con contexto circundante, reescritura preservando el inicio/final), y revisión integrada.

El artículo señala una limitación clara: a escala 2B, Diffusion Gemma no iguala a los mejores modelos autoregresivos (GPT-4o, Gemini 1.5 Pro) en razonamiento, seguimiento de instrucciones y conocimiento — la brecha se está "cerrando" sin estar cerrada. Para uso conversacional, razonamiento en varios pasos o streaming token a token, los modelos autoregresivos siguen siendo la mejor opción.

El linaje se remonta a las imágenes: Stable Diffusion y DALL-E abandonaron la autorregresión hace años; la pregunta abierta es si el mismo principio se sostiene para el texto. Diffusion Gemma, gracias a sus open weights, se convierte en un campo de pruebas para la generación controlable.