Questa analisi approfondita esplora come 18 grandi aziende tecnologiche, tra cui Google, GitHub, Microsoft e Dropbox, misurano l'impatto dell'IA sullo sviluppo software, in un contesto in cui è necessario giustificare investimenti crescenti negli strumenti di coding IA. Scritto da Gergely Orosz e Laura Tacho (CTO di DX), l'articolo rileva che, sebbene l'85% degli ingegneri utilizzi strumenti di IA, molti responsabili ingegneristici faticano a valutarne il valore reale, in assenza di metriche chiare che vadano oltre misure superficiali come le righe di codice (LOC).
Messaggio centrale: combinare le metriche
Misurare efficacemente l'impatto dell'IA richiede di combinare le metriche ingegneristiche 'core' esistenti con nuove metriche specifiche per l'IA. Le aziende non dovrebbero abbandonare le metriche tradizionali come il Change Failure Rate, il throughput delle PR, il tempo di ciclo delle PR e la developer experience, poiché l'obiettivo ultimo dell'IA è proprio migliorare questi fondamentali della delivery software. Queste metriche core devono essere monitorate insieme ai tassi di adozione dell'IA, alla soddisfazione (CSAT) verso gli strumenti, al tempo risparmiato per ingegnere e alla spesa IA. Dropbox, ad esempio, ha raggiunto un'adozione IA del 90% e ha visto i propri ingegneri effettuare il merge del 20% di pull request in più, con un Change Failure Rate ridotto.
Segmentazione e mentalità sperimentale
Un aspetto cruciale è scomporre le metriche per livello di utilizzo dell'IA: confrontare gli utenti IA con i non utenti, e analizzare le tendenze nel tempo. Questa scomposizione per ruolo, seniority o linguaggio di programmazione aiuta a identificare quali gruppi traggono maggior beneficio dall'IA o necessitano di formazione aggiuntiva. L'articolo sottolinea una mentalità sperimentale, in cui i dati vengono utilizzati per rispondere a domande specifiche e verificare previsioni sull'influenza dell'IA.
Qualità, manutenibilità, developer experience
La vigilanza su qualità del codice, manutenibilità e developer experience è fondamentale. Gli autori avvertono che lo sviluppo assistito dall'IA può creare "il più grande cumulo di debito tecnico" se non gestito con attenzione. È essenziale monitorare metriche che si controllano a vicenda, come la velocità insieme alla qualità (throughput delle PR e CFR). Oltre alle metriche di sistema, i dati auto-riportati su "fiducia nelle modifiche", "manutenibilità del codice" e "qualità percepita" sono vitali per catturare gli impatti a lungo termine. La developer experience, spesso erroneamente ridotta a vantaggi superficiali, è critica per ridurre l'attrito lungo l'intero ciclo di sviluppo.
Tendenze emergenti e sfide
Microsoft utilizza i "bad developer days" (BDD) per valutare l'impatto dell'IA sull'attrito quotidiano, mentre Glassdoor misura i risultati della sperimentazione (test A/B). Il tasso di accettazione dei suggerimenti IA, un tempo metrica di riferimento, è in declino perché troppo ristretto: non cattura né la manutenibilità, né l'introduzione di bug, né la produttività complessiva. L'analisi dei costi, ancora poco praticata per non scoraggiare l'utilizzo, dovrebbe ricevere maggiore attenzione con la crescita dei budget IA. La telemetria degli agenti e la misurazione oltre la scrittura di codice sono identificate come aree destinate a evolversi significativamente.
AI Measurement Framework e livelli di dati
L'articolo introduce l'AI Measurement Framework, un insieme raccomandato di metriche che combina metriche IA e metriche ingegneristiche core, con la developer experience al centro. Propone una raccolta dati a strati: dati di sistema quantitativi (strumenti IA, GitHub, JIRA, CI/CD), sondaggi qualitativi periodici e campionamento dell'esperienza in tempo reale. L'esperienza di Monzo Bank funge da caso di studio: la misurazione oggettiva è difficile (conservazione dei dati da parte dei fornitori), ma il sentiment soggettivo degli ingegneri e casi d'uso specifici come le migrazioni di codice dimostrano un valore chiaro.