Ethan Mollick argumenta que, pese al progreso medible en IA, los benchmarks estándar no logran captar lo que realmente importa: el rendimiento en TUS tareas específicas con TUS criterios de juicio. Propone "entrevistar" a los modelos de IA como si fueran candidatos a un puesto, en lugar de depender de puntuaciones de pruebas genéricas.
Problemas de los benchmarks estándar
Benchmarks como MMLU-Pro plantean preguntas oscuras ("¿capacidad craneal media del Homo erectus?", "¿título del álbum en directo de Cheap Trick de 1979?") cuyo valor de medición real no está claro. Las pruebas no están calibradas (se desconoce si pasar del 84% al 85% es tan difícil como pasar del 40% al 41%), contienen errores, y las puntuaciones máximas pueden ser inalcanzables. Peor aún: las claves de respuestas publicadas permiten su incorporación al entrenamiento (de forma accidental o deliberada). En conjunto, todos los benchmarks (AIME, GPQA, MMLU, SWE-bench, ARC-AGI, METR) muestran una tendencia "ascendente y hacia la derecha", midiendo un factor de capacidad subyacente correlacionado con el impacto en el mundo real. Pero su enfoque en matemáticas, ciencia, razonamiento y código deja vacíos en escritura, asesoramiento empresarial y empatía. "Lo que realmente te importa es qué modelo sería el mejor para TUS necesidades".
Benchmarking basado en "vibes": un enfoque individual
Los profesionales desarrollan pruebas idiosincrásicas: Simon Willison pide un pelícano en bicicleta, Mollick una nutria en un avión, un panel de control de nave espacial en JavaScript, poemas difíciles, videojuegos. Un ejercicio de escritura revela patrones: Claude 4.5 Sonnet es sólido en escritura, Gemini 2.5 Pro (actualmente el más débil) no logra respetar un límite de palabras, GPT-5 Thinking es un estilista exuberante pero a veces incoherente, Kimi K2 Thinking produce giros de frase interesantes pero una historia que carece de sentido. Los vibes dan una "sensación" de los modelos, pero siguen siendo idiosincrásicos: las respuestas varían cada vez y uno se apoya en impresiones en lugar de mediciones reales.
Benchmarking en el mundo real: el método GDPval
El paper GDPval de OpenAI demuestra un enfoque riguroso: (1) expertos con 14 años de experiencia en promedio crean proyectos complejos y realistas que representan de 4 a 7 horas de trabajo humano, (2) varios modelos de IA y expertos humanos realizan las tareas, (3) un tercer grupo de expertos califica a ciegas, dedicando más de una hora por pregunta. El estudio revela los puntos fuertes de la IA (desarrollo de software, asesoramiento financiero: supera a los humanos) y sus debilidades (farmacéuticos, ingenieros industriales y agentes inmobiliarios superan a la IA). Surgen diferencias entre modelos: ChatGPT es mejor gestor de ventas, Claude mejor asesor financiero. La forma de la "Jagged Frontier" toma forma.
GuacaDrone revela la personalidad de los modelos
Mollick plantea una idea dudosa, "entrega de guacamole por dron", y pide a los modelos que valoren su viabilidad del 1 al 10, diez veces cada uno. Grok se muestra entusiasta, Copilot emocionado, GPT-5 y Claude escépticos. El propio Mollick la valoraría en 2 o menos. "Valorar sistemáticamente las ideas 3-4 puntos por encima o por debajo te está orientando sistemáticamente en una dirección diferente". Según la empresa, se puede querer una IA que asuma o evite el riesgo: es necesario comprender cómo "piensa" la IA sobre cuestiones críticas.
Prescripción para las organizaciones
Los vibes bastan para los individuos. Las organizaciones que despliegan a escala necesitan pruebas sistemáticas: IA sobre trabajo real y juicios reales, escenarios realistas, ejecutados varias veces, evaluados por expertos, con comparación directa en las tareas que importan. "La diferencia entre 'el modelo obtuvo 85% en MMLU' y 'el modelo es más preciso en el análisis financiero pero más conservador en el riesgo'". Hay que repetirlo varias veces al año a medida que se publican nuevos modelos.
Analogía final: "No contratarías a un vicepresidente basándote únicamente en sus puntuaciones del SAT. No elijas la IA que asesorará sobre miles de decisiones basándote en su conocimiento de la capacidad craneal media del Homo erectus".