Questo studio del Generative AI Labs di Wharton esamina se l'assegnazione di personas esperti ai modelli di IA migliori le loro prestazioni su domande difficili a risposta multipla oggettiva. I ricercatori hanno testato sei modelli (GPT-4o, GPT-4o-mini, o3-mini, o4-mini, Gemini 2.0 Flash, Gemini 2.5 Flash) su due benchmark impegnativi: GPQA Diamond (198 domande di livello dottorale) e MMLU-Pro (300 domande di livello professionale).
Il protocollo confronta tre condizioni: una baseline senza persona, personas esperti (esperto in fisica, matematica, economia, biologia, chimica, ingegneria, diritto, storia) e personas a "basso livello di conoscenza" (Layperson, Young Child, Toddler — "un bambino di 4 anni convinto che la luna sia fatta di formaggio"). Ogni coppia modello-prompt viene valutata su 25 risposte indipendenti per domanda (4.950 esecuzioni per coppia su GPQA, 7.500 su MMLU-Pro), con intervalli di confidenza al 95%.
I risultati sono sostanzialmente nulli: la maggior parte delle condizioni con persona produce prestazioni statisticamente indistinguibili dalla baseline. Su GPQA Diamond, nessuna persona esperta o a basso livello di conoscenza migliora in modo affidabile le prestazioni; l'unica eccezione è un piccolo guadagno del prompt "Young Child" su Gemini 2.5 Flash (RD = 0,098). Su MMLU-Pro, nessuna persona esperta produce un miglioramento statisticamente significativo per 5 dei 6 modelli, e si osservano nove differenze negative significative. Le personas a basso livello di conoscenza spesso degradano l'accuratezza: la persona "Toddler" riduce le prestazioni in 4 dei 6 modelli e risulta significativamente peggiore di "Layperson" in 5 dei 6 modelli.
L'eccezione degna di nota è Gemini 2.0 Flash, che mostra modeste differenze positive con tutte e cinque le personas esperte su MMLU-Pro, in particolare in ingegneria e chimica. Inoltre, allineare la persona esperta al dominio della domanda non offre alcun beneficio costante. I ricercatori individuano modalità di fallimento: i modelli Gemini Flash a volte rifiutano di rispondere quando viene assegnata loro una persona esperta fuori dominio, e istruzioni di ruolo troppo ristrette portano i modelli a sotto-utilizzare la loro conoscenza reale.
Le implicazioni pratiche sono significative: la pratica diffusa del persona prompting è probabilmente inefficace per migliorare l'accuratezza fattuale. Le organizzazioni trarranno maggiore valore da istruzioni specifiche al compito, e dovrebbero testare più varianti di prompt per i loro problemi concreti. Le personas possono comunque conservare altri usi, come la modulazione del tono o dello stile di presentazione. I limiti dello studio (un numero limitato di modelli e personas, benchmark accademici) aprono piste per ricerche future.