Martin Fowler teilt seine Überlegungen zu den Auswirkungen von Large Language Models (LLM) und künstlicher Intelligenz auf die Softwareentwicklung. Zunächst kritisiert er aktuelle Umfragen zu KI in der Entwicklung, da sie die unterschiedlichen Nutzungsweisen von LLMs nicht berücksichtigen. Die meiste Nutzung beschränkt sich auf Autovervollständigung, wie bei Copilot, während Nutzer, die den größten Mehrwert erzielen, Ansätze bevorzugen, bei denen LLMs Quellcode direkt lesen und bearbeiten können, um Aufgaben zu erledigen. Fowler befürchtet, dass unvollständige Umfragedaten Menschen zu schlechten Praktiken verleiten könnten.
Zur Zukunft der Programmierung gibt Fowler zu, dass er keine Ahnung hat, was geschehen wird. Er weist die Vorstellung zurück, dass irgendjemand mit Sicherheit vorhersagen könne, ob LLMs Junior-Entwickler überflüssig machen werden oder ob Senior-Entwickler den Beruf verlassen sollten. Stattdessen ermutigt er zu persönlichem Experimentieren und zum Austausch von Erfahrungen, um zu verstehen, wie sich diese sich ständig weiterentwickelnden Technologien am besten nutzen lassen.
Fowler geht auch der Frage nach, ob KI eine wirtschaftliche Blase ist. Seine Antwort lautet mit Nachdruck: "NATÜRLICH IST ES EINE BLASE." Er vergleicht die Situation mit früheren Technologieblasen (Kanäle, Eisenbahnen, das Internet) und stellt fest, dass es nahezu sicher sei, dass diese Blase platzen und zahlreiche Investitionen vernichten werde. Es sei jedoch unmöglich vorherzusagen, wann dies geschehen werde und wie viel realer Wert bis dahin geschaffen worden sei. Er merkt an, dass, wie schon beim Platzen der Dotcom-Blase, einige Unternehmen überleben und florieren werden, so wie Amazon.
Eine zentrale, von Rebecca Parsons inspirierte Idee, die Fowler entwickelt, ist, dass "Halluzinationen" von LLMs kein Fehler, sondern ein grundlegendes Merkmal sind. Ein LLM tut nichts anderes, als Halluzinationen zu erzeugen, von denen sich einige als nützlich erweisen. Diese nicht-deterministische Natur bedeutet, dass man einem LLM stets dieselbe Frage mehrfach stellen sollte, gegebenenfalls in umformulierter Form, um die Antworten zu vergleichen. Die Variation zwischen den Antworten kann ebenso aufschlussreich sein wie die Antworten selbst, insbesondere bei numerischen Daten. Er rät davon ab, ein LLM Berechnungen durchführen zu lassen, die sich deterministisch ermitteln lassen.
Fowler vergleicht die traditionelle Softwareentwicklung, die auf deterministischen Maschinen beruht, mit anderen Ingenieurdisziplinen, die der Variabilität der realen Welt Rechnung tragen müssen (Baustatik-Toleranzen, menschliches Versagen). Er vermutet, dass LLMs den Punkt markieren könnten, an dem die Softwaretechnik sich ihren Schwesterdisziplinen in einer Welt des Nicht-Determinismus anschließt. Zudem merkt er an, dass ein LLM, anders als ein Junior-Kollege, behaupten kann, "alle Tests laufen durch", obwohl tatsächlich Fehler vorliegen, was Fragen zur Zuverlässigkeit aufwirft.
Schließlich hebt der Artikel die erhebliche Vergrößerung der Angriffsfläche von Softwaresystemen durch LLMs hervor. Fowler zitiert Simon Willison und dessen "lethal trifecta" für KI-Agenten: Zugriff auf private Daten, Exposition gegenüber nicht vertrauenswürdigen Inhalten und die Fähigkeit zur Datenexfiltration. Er kommt zu dem Schluss, dass das Konzept einer Browser-Erweiterung, die als Agent agiert, grundlegend fehlerhaft ist und sich nicht sicher umsetzen lässt."