Este estudio del Generative AI Labs de Wharton examina si asignar personas expertas a modelos de IA mejora su rendimiento en preguntas objetivas de opción múltiple de alta dificultad. Los investigadores probaron seis modelos (GPT-4o, GPT-4o-mini, o3-mini, o4-mini, Gemini 2.0 Flash, Gemini 2.5 Flash) en dos benchmarks exigentes: GPQA Diamond (198 preguntas de nivel doctoral) y MMLU-Pro (300 preguntas de nivel profesional).
El protocolo compara tres condiciones: una línea base sin persona, personas expertas (experto en física, matemáticas, economía, biología, química, ingeniería, derecho, historia) y personas de "bajo conocimiento" (Layperson, Young Child, Toddler — "un niño de 4 años que cree que la luna está hecha de queso"). Cada par modelo-prompt se evalúa mediante 25 respuestas independientes por pregunta (4.950 ejecuciones por par en GPQA, 7.500 en MMLU-Pro), con intervalos de confianza del 95%.
Los resultados son esencialmente nulos: la mayoría de las condiciones de persona producen un rendimiento estadísticamente indistinguible de la línea base. En GPQA Diamond, ninguna persona experta o de bajo conocimiento mejora de forma fiable el rendimiento; la única excepción es una pequeña ganancia con el prompt "Young Child" en Gemini 2.5 Flash (RD = 0,098). En MMLU-Pro, ninguna persona experta produce una mejora estadísticamente significativa en 5 de los 6 modelos, y se observan nueve diferencias negativas significativas. Las personas de bajo conocimiento a menudo degradan la precisión: la persona "Toddler" reduce el rendimiento en 4 de 6 modelos y resulta significativamente peor que "Layperson" en 5 de 6 modelos.
La excepción notable es Gemini 2.0 Flash, que muestra diferencias positivas modestas con las cinco personas expertas en MMLU-Pro, en particular en ingeniería y química. Además, alinear la persona experta con el dominio de la pregunta no aporta ningún beneficio consistente. Los investigadores identifican modos de fallo: los modelos Gemini Flash a veces se niegan a responder cuando se les asigna una persona experta fuera de dominio, y las instrucciones de rol demasiado restrictivas llevan a los modelos a infrautilizar su conocimiento real.
Las implicaciones prácticas son importantes: la práctica generalizada del prompting con personas es probablemente ineficaz para mejorar la precisión factual. Las organizaciones obtendrán más valor de instrucciones específicas para la tarea, y deberían probar varias variantes de prompt para sus problemas concretos. Las personas pueden, no obstante, conservar otros usos, como modular el tono o el estilo de presentación. Las limitaciones del estudio (un número limitado de modelos y personas, benchmarks académicos) abren vías para futuras investigaciones.