Yegor Denisov-Blanch, chercheur à Stanford, présente les résultats d'une étude massive sur l'impact de l'IA sur la productivité de plus de 100 000 développeurs. L'objectif est de dépasser la "hype" pour quantifier le retour sur investissement (ROI) réel.
L'étude révèle une fracture grandissante : l'écart de performance entre les équipes qui réussissent avec l'IA et celles qui échouent se creuse. Contrairement aux idées reçues, la quantité d'IA utilisée (nombre de tokens) corrèle peu avec la productivité. Le facteur déterminant est la qualité de l'environnement de code ("Codebase Hygiene"). Un code propre, bien testé et documenté permet à l'IA d'être performante. À l'inverse, sur une base de code dégradée, l'IA risque d'accélérer l'entropie et la dette technique, demandant plus d'efforts humains pour corriger les erreurs.
Denisov-Blanch met en garde contre les métriques simplistes comme le nombre de Pull Requests (PR). Il cite l'exemple d'une entreprise ayant observé une hausse de 14% des PR, interprétée initialement comme un succès. Une analyse plus fine a révélé une baisse de 9% de la qualité du code et une multiplication par 2,5 du "rework" (retravail sur du code récent). Le gain de volume était annulé par la baisse de qualité, rendant le ROI potentiellement négatif.
Pour mesurer correctement le ROI, Stanford propose un framework : 1. Mesurer l'Usage : Distinguer l'accès théorique de l'usage réel (via télémétrie fine) et identifier les "patterns" d'utilisation (usage personnel vs orchestration agentique). 2. Mesurer les "Engineering Outcomes" : Utiliser une métrique primaire d'"Engineering Output" (basée sur un modèle ML entraîné pour reproduire l'évaluation d'experts humains, et non sur le volume de lignes) couplée à des métriques "Guardrails" (qualité, taux de reprise, santé de l'équipe) qu'il faut maintenir à un niveau sain.
La conclusion est que l'IA est un amplificateur : elle accélère les bonnes pratiques comme les mauvaises. Les leaders doivent mesurer précisément l'impact pour corriger le tir et investir dans l'hygiène du code pour débloquer le potentiel de l'IA.