Ethan Mollick sostiene que, pese al progreso medible en IA, los benchmarks estándar no logran capturar lo que realmente importa: el rendimiento en TUS tareas específicas con TUS criterios de juicio. Propone "entrevistar" a los modelos de IA como si fueran candidatos a un puesto, en lugar de basarse en puntuaciones de tests genéricos.
Problemas de los benchmarks estándar
Benchmarks como MMLU-Pro plantean preguntas oscuras ("¿capacidad craneal media del Homo erectus?", "¿título del álbum en directo de 1979 de Cheap Trick?") cuyo valor real de medición no está claro. Los tests no están calibrados (se desconoce si pasar del 84% al 85% es tan difícil como pasar del 40% al 41%), contienen errores, y las puntuaciones máximas pueden ser inalcanzables. Peor aún: las claves de respuestas públicas permiten su incorporación al entrenamiento (por accidente o de forma deliberada). En conjunto, todos los benchmarks (AIME, GPQA, MMLU, SWE-bench, ARC-AGI, METR) tienden "hacia arriba y hacia la derecha", midiendo un factor de capacidad subyacente correlacionado con el impacto en el mundo real. Pero su enfoque en matemáticas, ciencia, razonamiento y código deja huecos en escritura, asesoramiento empresarial y empatía. "Lo que realmente te importa es qué modelo sería mejor para TUS necesidades".
Benchmarking "basado en vibes": un enfoque individual
Los profesionales desarrollan tests idiosincrásicos: Simon Willison pide un pelícano en bicicleta, Mollick una nutria en un avión, un panel de control de nave espacial en JavaScript, poemas difíciles, videojuegos. Un ejercicio de escritura revela patrones: Claude 4.5 Sonnet es un escritor sólido, Gemini 2.5 Pro (actualmente el más débil) no lleva la cuenta del número de palabras, GPT-5 Thinking es un estilista exuberante a veces incoherente, Kimi K2 Thinking produce giros interesantes pero una historia que no tiene sentido. Los vibes dan una "sensación" de los modelos, pero siguen siendo idiosincrásicos: las respuestas varían cada vez y uno se apoya en impresiones en lugar de mediciones reales.
Benchmarking en el mundo real: el método GDPval
El paper GDPval de OpenAI demuestra un enfoque riguroso: (1) expertos con 14 años de experiencia de media crean proyectos realistas y complejos que representan de 4 a 7 horas de trabajo humano, (2) varios modelos de IA y expertos humanos realizan las tareas, (3) un tercer grupo de expertos evalúa a ciegas, dedicando más de una hora por pregunta. El estudio revela los puntos fuertes de la IA (desarrollo de software, asesoramiento financiero: supera a los humanos) y sus debilidades (farmacéuticos, ingenieros industriales, agentes inmobiliarios superan a la IA). Surgen diferencias entre modelos: ChatGPT es mejor gestor de ventas, Claude mejor asesor financiero. La forma de la "Jagged Frontier" toma cuerpo.
GuacaDrone revela la personalidad de los modelos
Mollick presenta una idea dudosa, "entrega de guacamole por dron", y pide a los modelos que valoren su viabilidad de 1 a 10, diez veces cada uno. Grok se muestra entusiasta, Copilot emocionado, GPT-5 y Claude escépticos. El propio Mollick le daría un 2 o menos. "Puntuar sistemáticamente las ideas 3-4 puntos más alto o más bajo significa orientarte sistemáticamente en una dirección distinta". Según la empresa, se quiere una IA que abrace o evite el riesgo: es necesario entender cómo "piensa" la IA sobre cuestiones críticas.
Prescripción para las organizaciones
Los vibes bastan para los individuos. Las organizaciones que despliegan a gran escala necesitan pruebas sistemáticas: IA sobre trabajo real y juicios reales, escenarios realistas, ejecutados varias veces, evaluados por expertos, con comparación directa en las tareas que importan. "La diferencia entre 'el modelo obtuvo un 85% en MMLU' y 'el modelo es más preciso en análisis financiero pero más conservador en riesgo'". Hay que repetirlo varias veces al año a medida que se publican nuevos modelos.
Analogía final: "No contratarías a un vicepresidente basándote únicamente en su puntuación del SAT. No elijas la IA que asesorará miles de decisiones basándote en su conocimiento de la capacidad craneal media del Homo erectus".