Ethan Mollick sostiene che, nonostante i progressi misurabili nell'IA, i benchmark standard non riescono a catturare ciò che conta davvero: le prestazioni sui VOSTRI compiti specifici con i VOSTRI criteri di giudizio. Propone di "intervistare" i modelli IA come candidati a un colloquio di lavoro, invece di affidarsi a punteggi di test generici.
Problemi dei benchmark standard
Benchmark come MMLU-Pro pongono domande oscure ("capacità cranica media dell'Homo erectus?", "titolo dell'album live del 1979 dei Cheap Trick?") il cui reale valore di misurazione non è chiaro. I test non sono calibrati (non si sa se la difficoltà di passare dall'84% all'85% sia paragonabile a quella di passare dal 40% al 41%), contengono errori, e i punteggi massimi possono essere irraggiungibili. Peggio ancora: le griglie di risposte pubblicate ne consentono l'incorporazione nell'addestramento (accidentalmente o deliberatamente). Complessivamente, tutti i benchmark (AIME, GPQA, MMLU, SWE-bench, ARC-AGI, METR) mostrano una tendenza "verso l'alto e verso destra", misurando un fattore di capacità sottostante correlato all'impatto nel mondo reale. Ma la loro focalizzazione su matematica, scienza, ragionamento e codice lascia lacune nella scrittura, nella consulenza aziendale e nell'empatia. "Quello che vi interessa davvero è quale modello sia il migliore per LE VOSTRE esigenze."
Benchmarking "basato sulle vibes": un approccio individuale
I praticanti sviluppano test idiosincratici: Simon Willison chiede un pellicano su una bicicletta, Mollick una lontra su un aereo, un pannello di controllo di un'astronave in JavaScript, poesie difficili, videogiochi. Un esercizio di scrittura rivela alcuni pattern: Claude 4.5 Sonnet è solido nella scrittura, Gemini 2.5 Pro (attualmente il più debole) non riesce a rispettare il conteggio delle parole, GPT-5 Thinking è uno stilista esuberante ma a volte incoerente, Kimi K2 Thinking produce giri di frase interessanti ma una storia priva di senso. Le vibes danno una "sensazione" dei modelli, ma restano idiosincratiche: le risposte variano ogni volta e ci si affida a impressioni piuttosto che a misurazioni reali.
Benchmarking nel mondo reale: il metodo GDPval
Il paper GDPval di OpenAI dimostra un approccio rigoroso: (1) esperti con 14 anni di esperienza in media creano progetti complessi e realistici che rappresentano da 4 a 7 ore di lavoro umano, (2) diversi modelli IA ed esperti umani eseguono i compiti, (3) un terzo gruppo di esperti valuta alla cieca, dedicando più di un'ora a domanda. Lo studio rivela i punti di forza dell'IA (sviluppo software, consulenza finanziaria: supera gli umani) e i suoi punti deboli (farmacisti, ingegneri industriali, agenti immobiliari superano l'IA). Emergono differenze tra i modelli: ChatGPT è un miglior sales manager, Claude un miglior consulente finanziario. Prende forma la "Jagged Frontier".
GuacaDrone rivela la personalità dei modelli
Mollick propone un'idea dubbia, "consegna di guacamole tramite drone", e chiede ai modelli di valutarne la fattibilità da 1 a 10, dieci volte ciascuno. Grok è entusiasta, Copilot eccitato, GPT-5 e Claude scettici. Mollick stesso la valuterebbe 2 o meno. "Valutare sistematicamente le idee 3-4 punti più in alto o più in basso significa orientarvi sistematicamente verso una direzione diversa." A seconda dell'azienda, si potrebbe volere un'IA che abbracci o eviti il rischio: è necessario capire come l'IA "pensa" riguardo alle domande critiche.
Prescrizione per le organizzazioni
Per gli individui le vibes sono sufficienti. Le organizzazioni che effettuano un dispiegamento su larga scala hanno bisogno di test sistematici: IA su lavoro reale e giudizi reali, scenari realistici, eseguiti più volte, valutati da esperti, con confronto diretto sui compiti che contano. "La differenza tra 'il modello ha ottenuto l'85% su MMLU' e 'il modello è più accurato nell'analisi finanziaria ma più conservativo sul rischio'." Da rifare più volte all'anno man mano che escono nuovi modelli.
Analogia finale: "Non assumereste un VP basandovi solo sui suoi punteggi SAT. Non scegliete l'IA che consiglierà su migliaia di decisioni basandovi sulla sua conoscenza della capacità cranica media dell'Homo erectus."