METHODOLOGIE

GDPval

Benchmark mesurant les modèles d'IA sur des tâches professionnelles de niveau expert — finance, droit, retail, logiciel — évaluées en aveugle par des spécialistes chevronnés. Les scores rapportés atteignent 40-49 % du niveau expert mais exigent un cadrage humain important, si bien que la métrique elle-même est jugée sous-spécifiée.

définition

Benchmark expert tasks — modèles atteignent 40-49% du niveau expert humain, mais nécessitent *extensive human framing* — la métrique elle-même est sous-spécifiée

méthode

Experts 14 ans d'expérience, évaluation en aveugle

portée

Finance, droit, retail, développement logiciel

Fiches (2)