Ethan Mollick soutient que malgré les progrès mesurables de l'IA, les benchmarks standards échouent à capturer ce qui importe vraiment : la performance sur VOS tâches spécifiques avec VOS critères de jugement. Il prescrit d'"interviewer" les modèles IA comme des candidats à l'embauche plutôt que de se fier aux scores de tests génériques.
Problèmes des benchmarks standards
Des benchmarks comme MMLU-Pro posent des questions obscures ("capacité crânienne moyenne d'Homo erectus ?", "titre de l'album live de Cheap Trick en 1979 ?") dont on ignore ce qu'elles mesurent vraiment. Les tests ne sont pas calibrés (la difficulté de passer de 84% à 85% versus de 40% à 41% est inconnue), contiennent des erreurs, et les meilleurs scores peuvent être inatteignables. Pire : les corrigés publics permettent leur incorporation dans l'entraînement (accidentelle ou délibérée). Collectivement, tous les benchmarks (AIME, GPQA, MMLU, SWE-bench, ARC-AGI, METR) progressent "vers le haut et la droite", mesurant un facteur de capacité sous-jacent corrélé à l'impact réel. Mais leur focalisation sur les maths, la science, le raisonnement et le code laisse des lacunes sur l'écriture, le conseil business et l'empathie. "What you actually care about is which model would be best for YOUR needs."
Benchmarking "aux vibes" : approche individuelle
Les praticiens développent des tests idiosyncratiques : Simon Willison demande un pélican à vélo, Mollick une loutre en avion, un panneau de contrôle de vaisseau spatial en JavaScript, des poèmes difficiles, des jeux vidéo. Un exercice d'écriture révèle des patterns : Claude 4.5 Sonnet est solide en écriture, Gemini 2.5 Pro (actuellement le plus faible) ne tient pas le compte de mots, GPT-5 Thinking est un styliste exubérant parfois incohérent, Kimi K2 Thinking produit des tournures intéressantes mais une histoire sans queue ni tête. Les vibes donnent une "sensation" des modèles, mais restent idiosyncratiques : les réponses varient à chaque fois et on se fie à des impressions plutôt qu'à de vraies mesures.
Benchmarking sur le monde réel : la méthode GDPval
Le papier GDPval d'OpenAI démontre une approche rigoureuse : (1) des experts de 14 ans d'expérience en moyenne créent des projets réalistes complexes de 4 à 7 heures de travail humain, (2) plusieurs modèles IA et des experts humains réalisent les tâches, (3) un troisième groupe d'experts note en aveugle, plus d'une heure par question. L'étude révèle les points forts de l'IA (développement logiciel, conseil financier : elle bat les humains) et ses faiblesses (pharmaciens, ingénieurs industriels, agents immobiliers battent l'IA). Des différences entre modèles émergent : ChatGPT est meilleur directeur commercial, Claude meilleur conseiller financier. La forme de la "Jagged Frontier" se dessine.
GuacaDrone révèle la personnalité des modèles
Mollick pitche une idée douteuse, la "livraison de guacamole par drones", et demande aux modèles de noter sa viabilité de 1 à 10, dix fois chacun. Grok est enthousiaste, Copilot emballé, GPT-5 et Claude sceptiques. Mollick lui-même noterait 2 ou moins. "Noter systématiquement les idées 3-4 points plus haut ou plus bas, c'est vous orienter systématiquement dans une direction différente." Selon les entreprises, on voudra une IA qui embrasse ou évite le risque : il faut comprendre comment l'IA "pense" les questions critiques.
Prescription pour les organisations
Les vibes suffisent aux individus. Les organisations qui déploient à grande échelle ont besoin de tests systématiques : l'IA sur le travail et les jugements réels, des scénarios réalistes, exécutés plusieurs fois, évalués par des experts, avec comparaison tête-à-tête sur les tâches qui comptent. "La différence entre 'le modèle a obtenu 85% au MMLU' et 'le modèle est plus précis en analyse financière mais plus conservateur sur les risques'." À refaire plusieurs fois par an au rythme des nouveaux modèles.
Analogie finale : "Vous n'embaucheriez pas un VP sur ses seuls scores au SAT. Ne choisissez pas l'IA qui conseillera des milliers de décisions sur sa connaissance de la capacité crânienne moyenne d'Homo erectus."