Gergely Orosz

Gergely Orosz, Autor des Newsletters The Pragmatic Engineer, veröffentlichte im September 2025 im Abstand eines Tages zwei Beiträge, die sich Coding-Agenten von entgegengesetzten Enden nähern: wie einer gebaut wird und wie sich überhaupt feststellen ließe, ob er funktioniert.

Der erste, datiert auf den 2025-09-15, stützt sich auf Interviews mit Boris Cherny, Sid Bidasaria und Cat Wu über die internen Abläufe von «Claude Code»: ein Prototyp aus September 2024, der zunächst nur erkennen konnte, welche Musik gerade lief, bis Zugriff auf Dateisystem und Bash ihm erlaubte, eigenständig eine Codebasis zu lesen. Die berichteten Zahlen sind konkret und für jeden, der verallgemeinern möchte, unbequem. Rund 90% des Codes des Tools werden vom Tool selbst geschrieben. Die Ingenieure von Anthropic haben 67% mehr Pull Requests gemerged, während sich die Mitarbeiterzahl verdoppelte. Das Team liefert täglich 60 bis 100 interne Builds.

Der zweite Beitrag, datiert auf den 2025-09-16 und gemeinsam mit Laura Tacho verfasst, befragt 18 Unternehmen, darunter Google, GitHub, Microsoft und Dropbox, und stellt fest, dass die Frage der Messung ungelöst bleibt. 85% der Ingenieure nutzen KI-Tools; ihre Führungskräfte tun sich schwer damit zu sagen, was das wert ist. Orosz und Tacho schlagen das AI Measurement Framework vor, das Adoption und Ausgaben mit zentralen Delivery-Kennzahlen wie der Change Failure Rate verknüpft, und warnen davor, dass unkontrollierte KI-gestützte Entwicklung den bislang größten Berg an technischen Schulden erzeugen könnte. Die Acceptance Rate, einst die Referenzkennzahl, verliert an Aussagekraft. Orosz sagt voraus, dass sich die Messarbeit als Nächstes zur Agenten-Telemetrie verlagert.