Este análisis en profundidad explora cómo 18 grandes empresas tecnológicas, entre ellas Google, GitHub, Microsoft y Dropbox, miden el impacto de la IA en el desarrollo de software, en un contexto en el que se busca justificar las inversiones crecientes en herramientas de codificación con IA. Escrito por Gergely Orosz y Laura Tacho (CTO de DX), el artículo señala que, si bien el 85% de los ingenieros utiliza herramientas de IA, muchos líderes de ingeniería tienen dificultades para evaluar su valor real, al carecer de métricas claras más allá de indicadores superficiales como las líneas de código (LOC).
Mensaje central: combinar métricas
Medir de forma efectiva el impacto de la IA requiere combinar las métricas de ingeniería 'centrales' existentes con nuevas métricas específicas de IA. Las empresas no deben abandonar métricas tradicionales como la Tasa de Fallos de Cambios (Change Failure Rate), el rendimiento de PR, el tiempo de ciclo de PR y la experiencia del desarrollador, ya que el objetivo último de la IA es precisamente mejorar estos fundamentos de la entrega de software. Estas métricas centrales deben seguirse junto con las tasas de adopción de IA, la satisfacción (CSAT) con las herramientas, el tiempo ahorrado por ingeniero y el gasto en IA. Dropbox, por ejemplo, alcanzó una adopción de IA del 90% y sus ingenieros fusionaron un 20% más de pull requests con una tasa de fallos de cambios reducida.
Segmentación y mentalidad experimental
Un aspecto crucial es desglosar las métricas por nivel de uso de IA: comparar a los usuarios de IA con los que no la usan, y analizar las tendencias a lo largo del tiempo. Este desglose por rol, seniority o lenguaje de programación ayuda a identificar qué grupos se benefician más de la IA o necesitan formación adicional. El artículo subraya una mentalidad experimental, en la que los datos se utilizan para responder preguntas concretas y poner a prueba predicciones sobre la influencia de la IA.
Calidad, mantenibilidad, experiencia del desarrollador
La vigilancia sobre la calidad del código, la mantenibilidad y la experiencia del desarrollador es primordial. Los autores advierten que el desarrollo asistido por IA puede crear "la mayor acumulación de deuda técnica" si no se gestiona con cuidado. Es esencial seguir métricas que se verifiquen mutuamente, como la velocidad junto con la calidad (rendimiento de PR y CFR). Más allá de las métricas de sistema, los datos autorreportados sobre "confianza en los cambios", "mantenibilidad del código" y "calidad percibida" son vitales para captar los impactos a largo plazo. La experiencia del desarrollador, a menudo reducida erróneamente a beneficios superficiales, es crítica para reducir la fricción en todo el ciclo de desarrollo.
Tendencias y desafíos emergentes
Microsoft utiliza los "bad developer days" (BDD) para evaluar el impacto de la IA en la fricción diaria, mientras que Glassdoor mide los resultados de la experimentación (pruebas A/B). La tasa de aceptación de las sugerencias de IA, antes una métrica de referencia, está en declive por ser demasiado limitada: no capta ni la mantenibilidad, ni la introducción de errores, ni la productividad global. Se espera que el análisis de costes, aún poco practicado para no desincentivar el uso, reciba un mayor escrutinio a medida que crecen los presupuestos de IA. La telemetría de agentes y la medición más allá de la escritura de código se identifican como áreas destinadas a evolucionar significativamente.
AI Measurement Framework y capas de datos
El artículo presenta el AI Measurement Framework, un conjunto recomendado de métricas que combina métricas de IA con métricas centrales de ingeniería, con la experiencia del desarrollador en su centro. Aboga por una recopilación de datos en capas: datos cuantitativos de sistema (herramientas de IA, GitHub, JIRA, CI/CD), encuestas cualitativas periódicas y muestreo de la experiencia en el momento. La experiencia de Monzo Bank sirve como caso de estudio: la medición objetiva es difícil (retención de datos por parte de los proveedores), pero el sentimiento subjetivo de los ingenieros y casos de uso concretos como las migraciones de código demuestran un valor claro.