Martin Fowler teilt seine Gedanken zu den Auswirkungen von Large Language Models (LLMs) und künstlicher Intelligenz auf die Softwareentwicklung. Zunächst kritisiert er aktuelle Umfragen zu KI in der Entwicklung und weist darauf hin, dass sie den unterschiedlichen Nutzungsweisen von LLMs durch Entwickler nicht gerecht werden. Der Großteil der Nutzung beschränkt sich auf Autovervollständigung, wie bei Copilot, während Nutzer, die den größten Mehrwert erzielen, Ansätze bevorzugen, bei denen LLMs Quellcode direkt lesen und bearbeiten, um Aufgaben zu erledigen. Fowler befürchtet, dass unvollständige Umfragedaten Menschen zu schlechten Praktiken verleiten könnten.
Zur Zukunft der Programmierung gibt Fowler zu, dass er keine Ahnung hat, was geschehen wird. Er weist die Vorstellung zurück, jemand könne mit Sicherheit vorhersagen, ob LLMs Junior-Entwickler überflüssig machen oder ob Senior-Entwickler den Beruf verlassen sollten. Stattdessen ermutigt er zu persönlichem Experimentieren und zum Austausch von Erfahrungen, um zu verstehen, wie diese sich ständig weiterentwickelnden Technologien am besten genutzt werden können.
Fowler geht auch der Frage nach, ob KI eine wirtschaftliche Blase ist. Seine Antwort lautet: "NATÜRLICH IST ES EINE BLASE." Er vergleicht die Situation mit früheren Technologieblasen (Kanäle, Eisenbahnen, das Internet) und stellt fest, dass es nahezu sicher sei, dass diese Blase platzen und viele Investitionen vernichten werde. Es sei jedoch unmöglich vorherzusagen, wann dies geschehen und wie viel realer Wert bis dahin geschaffen worden sein werde. Er merkt an, dass, wie beim Platzen der Dotcom-Blase, einige Unternehmen überleben und florieren werden, so wie es Amazon getan hat.
Eine zentrale, von Rebecca Parsons inspirierte Idee Fowlers ist, dass "Halluzinationen" von LLMs kein Fehler, sondern ein grundlegendes Merkmal sind. Ein LLM erzeugt stets nur Halluzinationen, von denen sich manche als nützlich erweisen. Diese nicht-deterministische Natur bedeutet, dass man einem LLM stets dieselbe Frage mehrfach stellen sollte, gegebenenfalls in umformulierter Form, um die Antworten zu vergleichen. Die Variation zwischen den Antworten kann ebenso aufschlussreich sein wie die Antworten selbst, insbesondere bei numerischen Daten. Er rät davon ab, ein LLM Berechnungen durchführen zu lassen, deren Ergebnisse sich deterministisch ermitteln lassen.
Fowler vergleicht die traditionelle Softwareentwicklung, die auf deterministischen Maschinen beruht, mit anderen Formen des Ingenieurwesens, die der Unbeständigkeit der Welt Rechnung tragen müssen (Baustatik-Toleranzen, menschliches Versagen). Er vermutet, dass LLMs den Punkt markieren könnten, an dem sich das Software-Engineering seinen Pendants in einer Welt des Nichtdeterminismus anschließt. Er merkt zudem an, dass ein LLM, anders als ein Junior-Kollege, behaupten kann, "alle Tests sind grün", obwohl tatsächlich Fehlschläge vorliegen, was Fragen zur Zuverlässigkeit aufwirft.
Abschließend beleuchtet der Artikel die erhebliche Vergrößerung der Angriffsfläche von Softwaresystemen durch LLMs. Fowler zitiert Simon Willison und dessen "Lethal Trifecta" für KI-Agenten: Zugriff auf private Daten, Exposition gegenüber nicht vertrauenswürdigen Inhalten und die Fähigkeit zur Datenexfiltration. Er kommt zu dem Schluss, dass das Konzept einer Browsererweiterung, die als Agent agiert, grundlegend fehlerhaft und nicht sicher umsetzbar sei.