Yegor Denisov-Blanch, ricercatore a Stanford, presenta i risultati di uno studio su larga scala relativo all'impatto dell'IA sulla produttività di oltre 100.000 sviluppatori. L'obiettivo è superare l'"hype" e quantificare il ritorno sull'investimento (ROI) effettivo.

Lo studio rivela un divario crescente: la differenza di prestazioni tra i team che hanno successo con l'IA e quelli che falliscono si sta ampliando. Contrariamente alla credenza comune, la quantità di IA utilizzata (numero di token) è scarsamente correlata alla produttività. Il fattore determinante è la qualità dell'ambiente di codice ("Codebase Hygiene"). Un codice pulito, ben testato e ben documentato consente all'IA di ottenere buoni risultati. Al contrario, su una codebase degradata, l'IA rischia di accelerare l'entropia e il debito tecnico, richiedendo uno sforzo umano maggiore per correggere gli errori.

Denisov-Blanch mette in guardia contro metriche semplicistiche come il numero di Pull Request (PR). Cita l'esempio di un'azienda che ha osservato un aumento del 14% delle PR, inizialmente interpretato come un successo. Un'analisi più approfondita ha rivelato un calo del 9% della qualità del codice e un aumento di 2,5 volte del "rework" (rilavorazione su codice scritto di recente). Il guadagno in volume è stato compensato dal calo di qualità, rendendo il ROI potenzialmente negativo.

Per misurare correttamente il ROI, Stanford propone un framework: 1. Misurare l'Utilizzo: Distinguere l'accesso teorico dall'utilizzo effettivo (tramite telemetria granulare) e identificare i "pattern" di utilizzo (uso personale vs. orchestrazione agentica). 2. Misurare gli "Engineering Outcomes": Utilizzare una metrica primaria di "Engineering Output" (basata su un modello ML addestrato a replicare la valutazione di esperti umani, piuttosto che sul volume di righe di codice) abbinata a metriche "Guardrail" (qualità, tasso di rework, salute del team) che devono essere mantenute a un livello sano.

La conclusione è che l'IA è un amplificatore: accelera tanto le buone quanto le cattive pratiche. I leader devono misurare l'impatto con precisione per correggere la rotta e investire nell'igiene del codice per sbloccare il potenziale dell'IA.