Cette étude du Generative AI Labs de Wharton examine si l'attribution de personas experts aux modèles d'IA améliore leurs performances sur des questions objectives difficiles à choix multiples. Les chercheurs ont testé six modèles (GPT-4o, GPT-4o-mini, o3-mini, o4-mini, Gemini 2.0 Flash, Gemini 2.5 Flash) sur deux benchmarks exigeants : GPQA Diamond (198 questions de niveau doctorat) et MMLU-Pro (300 questions de niveau professionnel).
Le protocole compare trois conditions : baseline sans persona, personas experts (expert en physique, mathématiques, économie, biologie, chimie, ingénierie, droit, histoire) et personas "faible connaissance" (Layperson, Young Child, Toddler — "un enfant de 4 ans qui croit que la lune est en fromage"). Chaque paire modèle-prompt est évaluée sur 25 réponses indépendantes par question (4 950 runs par paire sur GPQA, 7 500 sur MMLU-Pro), avec intervalles de confiance à 95%.
Les résultats sont essentiellement nuls : la plupart des conditions persona produisent des performances statistiquement indistinguables de la baseline. Sur GPQA Diamond, aucun persona expert ou faible connaissance n'améliore de façon fiable la performance ; la seule exception est un petit gain du prompt "Young Child" sur Gemini 2.5 Flash (RD = 0.098). Sur MMLU-Pro, aucun persona expert n'apporte d'amélioration statistiquement significative pour 5 des 6 modèles, et neuf différences négatives significatives sont observées. Les personas faible connaissance dégradent souvent la précision : le persona "Toddler" réduit la performance dans 4 modèles sur 6 et se révèle significativement pire que "Layperson" dans 5 modèles sur 6.
L'exception notable est Gemini 2.0 Flash, qui montre des différences positives modestes avec les cinq personas experts sur MMLU-Pro, notamment en ingénierie et en chimie. Par ailleurs, l'alignement du persona expert sur le domaine de la question n'apporte pas de bénéfice consistant. Les chercheurs identifient des modes d'échec : les modèles Gemini Flash refusent parfois de répondre lorsqu'on leur assigne un persona expert hors domaine, et des instructions de rôle trop étroites conduisent les modèles à sous-utiliser leurs connaissances réelles.
Les implications pratiques sont importantes : la pratique répandue du persona prompting est probablement inefficace pour améliorer la précision factuelle. Les organisations tireront davantage de valeur d'instructions spécifiques à la tâche, et devraient tester plusieurs variantes de prompts pour leurs problèmes concrets. Les personas peuvent toutefois conserver d'autres usages, comme moduler le ton ou le style de présentation. Les limites de l'étude (modèles et personas en nombre restreint, benchmarks académiques) ouvrent des pistes de recherche futures.