Yegor Denisov-Blanch, Forscher an der Stanford University, präsentiert die Ergebnisse einer groß angelegten Studie zur Auswirkung von KI auf die Produktivität von mehr als 100.000 Entwicklern. Ziel ist es, über den „Hype“ hinauszugehen und den tatsächlichen Return on Investment (ROI) zu quantifizieren.

Die Studie zeigt eine sich vergrößernde Kluft: Der Leistungsunterschied zwischen Teams, die mit KI erfolgreich sind, und solchen, die scheitern, wächst. Entgegen der landläufigen Meinung korreliert der Umfang der KI-Nutzung (Anzahl der Tokens) nur schwach mit der Produktivität. Der entscheidende Faktor ist die Qualität der Code-Umgebung („Codebase Hygiene“). Sauberer, gut getesteter, gut dokumentierter Code ermöglicht es der KI, gute Leistung zu erbringen. Umgekehrt riskiert KI bei einer degradierten Codebasis, Entropie und technische Schulden zu beschleunigen, was mehr menschlichen Aufwand zur Fehlerkorrektur erfordert.

Denisov-Blanch warnt vor vereinfachten Metriken wie der Anzahl der Pull Requests (PRs). Er nennt das Beispiel eines Unternehmens, das eine Zunahme der PRs um 14 % beobachtete, was zunächst als Erfolg interpretiert wurde. Eine detailliertere Analyse ergab einen Rückgang der Codequalität um 9 % und eine Verdreieinhalbfachung (2,5x) des „Rework“ (Nacharbeit an kürzlich geschriebenem Code). Der Gewinn an Volumen wurde durch den Qualitätsrückgang aufgewogen, wodurch der ROI potenziell negativ war.

Um den ROI korrekt zu messen, schlägt Stanford ein Framework vor: 1. Nutzung messen: Unterscheidung zwischen theoretischem Zugang und tatsächlicher Nutzung (mittels feingranularer Telemetrie) und Identifikation von Nutzungs-„Mustern“ (persönliche Nutzung vs. agentische Orchestrierung). 2. „Engineering Outcomes“ messen: Verwendung einer primären „Engineering Output“-Metrik (basierend auf einem ML-Modell, das darauf trainiert ist, die Bewertung menschlicher Experten nachzubilden, anstatt auf dem Volumen der Codezeilen) gekoppelt mit „Guardrail“-Metriken (Qualität, Rework-Rate, Team-Gesundheit), die auf einem gesunden Niveau gehalten werden müssen.

Die Schlussfolgerung lautet, dass KI ein Verstärker ist: Sie beschleunigt sowohl gute als auch schlechte Praktiken. Führungskräfte müssen die Auswirkungen präzise messen, um nachzusteuern und in die Code-Hygiene zu investieren, um das Potenzial der KI zu erschließen.