Diese Studie des Generative AI Labs der Wharton School untersucht, ob die Zuweisung von Expertenpersonas an KI-Modelle deren Leistung bei schwierigen objektiven Multiple-Choice-Fragen verbessert. Die Forscher testeten sechs Modelle (GPT-4o, GPT-4o-mini, o3-mini, o4-mini, Gemini 2.0 Flash, Gemini 2.5 Flash) anhand zweier anspruchsvoller Benchmarks: GPQA Diamond (198 Fragen auf Doktorandenniveau) und MMLU-Pro (300 Fragen auf professionellem Niveau).

Das Protokoll vergleicht drei Bedingungen: eine Baseline ohne Persona, Expertenpersonas (Experte in Physik, Mathematik, Wirtschaft, Biologie, Chemie, Ingenieurwesen, Recht, Geschichte) und Personas mit "geringem Wissen" (Laie, kleines Kind, Kleinkind — "ein 4-jähriges Kind, das glaubt, der Mond bestehe aus Käse"). Jedes Modell-Prompt-Paar wird über 25 unabhängige Antworten pro Frage bewertet (4.950 Durchläufe pro Paar bei GPQA, 7.500 bei MMLU-Pro), mit 95%-Konfidenzintervallen.

Die Ergebnisse sind im Wesentlichen null: Die meisten Persona-Bedingungen erzeugen eine Leistung, die statistisch nicht von der Baseline zu unterscheiden ist. Bei GPQA Diamond verbessert keine Experten- oder Niedrigwissen-Persona die Leistung zuverlässig; die einzige Ausnahme ist ein kleiner Gewinn durch den Prompt "kleines Kind" bei Gemini 2.5 Flash (RD = 0,098). Bei MMLU-Pro liefert keine Expertenpersona eine statistisch signifikante Verbesserung für 5 der 6 Modelle, und es werden neun signifikante negative Unterschiede beobachtet. Personas mit geringem Wissen verschlechtern häufig die Genauigkeit: Die Persona "Kleinkind" reduziert die Leistung bei 4 von 6 Modellen und erweist sich bei 5 von 6 Modellen als signifikant schlechter als "Laie".

Die bemerkenswerte Ausnahme ist Gemini 2.0 Flash, das bei MMLU-Pro mit allen fünf Expertenpersonas moderate positive Unterschiede zeigt, insbesondere in Ingenieurwesen und Chemie. Zudem bietet die Abstimmung der Expertenpersona auf den Themenbereich der Frage keinen konsistenten Nutzen. Die Forscher identifizieren Fehlermodi: Die Gemini-Flash-Modelle verweigern manchmal die Antwort, wenn ihnen eine fachfremde Expertenpersona zugewiesen wird, und zu eng gefasste Rolleninstruktionen führen dazu, dass die Modelle ihr tatsächliches Wissen unzureichend nutzen.

Die praktischen Implikationen sind erheblich: Die weit verbreitete Praxis des Persona-Promptings ist zur Verbesserung der faktischen Genauigkeit wahrscheinlich wirkungslos. Organisationen ziehen mehr Nutzen aus aufgabenspezifischen Anweisungen und sollten mehrere Prompt-Varianten für ihre konkreten Probleme testen. Personas können dennoch andere Verwendungszwecke behalten, etwa die Modulation von Ton oder Präsentationsstil. Die Grenzen der Studie (begrenzte Anzahl an Modellen und Personas, akademische Benchmarks) eröffnen Ansatzpunkte für zukünftige Forschung.