Yegor Denisov-Blanch, investigador en Stanford, presenta los resultados de un estudio a gran escala sobre el impacto de la IA en la productividad de más de 100.000 desarrolladores. El objetivo es ir más allá del "hype" y cuantificar el retorno de la inversión (ROI) real.
El estudio revela una brecha creciente: la diferencia de rendimiento entre los equipos que tienen éxito con la IA y los que fracasan aumenta. Contrariamente a la creencia popular, la cantidad de IA utilizada (número de tokens) se correlaciona poco con la productividad. El factor determinante es la calidad del entorno de código ("Codebase Hygiene"). Un código limpio, bien probado y bien documentado permite que la IA rinda bien. Por el contrario, sobre una base de código degradada, la IA corre el riesgo de acelerar la entropía y la deuda técnica, exigiendo más esfuerzo humano para corregir errores.
Denisov-Blanch advierte contra métricas simplistas como el número de Pull Requests (PR). Cita el ejemplo de una empresa que observó un aumento del 14% en los PR, interpretado inicialmente como un éxito. Un análisis más detallado reveló una caída del 9% en la calidad del código y un aumento de 2,5 veces en el "rework" (retrabajo sobre código escrito recientemente). La ganancia en volumen se vio compensada por la caída en calidad, haciendo que el ROI fuera potencialmente negativo.
Para medir correctamente el ROI, Stanford propone un marco: 1. Medir el Uso: Distinguir el acceso teórico del uso real (mediante telemetría de grano fino) e identificar los "patrones" de uso (uso personal vs. orquestación agéntica). 2. Medir los "Resultados de Ingeniería": Utilizar una métrica principal de "Engineering Output" (basada en un modelo de ML entrenado para replicar la evaluación de expertos humanos, en lugar del volumen de líneas de código) junto con métricas "Guardrail" (calidad, tasa de rework, salud del equipo) que deben mantenerse en un nivel saludable.
La conclusión es que la IA es un amplificador: acelera tanto las buenas como las malas prácticas. Los líderes deben medir el impacto con precisión para corregir el rumbo e invertir en la higiene del código para liberar el potencial de la IA.