Andy Warfield, Ingenieur im S3-Team bei AWS, veröffentlichte am 26. August 2026 einen Gastbeitrag auf All Things Distributed, eingeleitet von Werner Vogels. Darin erklärt er, warum eingebettete analytische Engines wie DuckDB an Bedeutung gewinnen, und kündigt an, dass DuckLabs, das Team hinter der Entwicklung von DuckDB, zu AWS stößt.
Sein Deutungsraster ist das einer sich verändernden „Physik". Während die Naturwissenschaften Invarianten erforschen, sucht die Systeminformatik den eleganten Kompromiss gegenüber Verhältnissen, die sich verschieben: Speichergeschwindigkeit gegenüber Netzwerkgeschwindigkeit, Reichhaltigkeit der Abstraktionen gegenüber verfügbarer Leistung. Er zitiert drei Momente — das NOW-Projekt in Berkeley, seine eigene Arbeit an Xen sowie die Forschung zu MonetDB und X100 am Amsterdamer CWI, wo sich der Engpass der Abfrageverarbeitung von der Festplatte zur CPU verschoben hatte — und stellt fest, dass diese Beschränkungen zyklisch wiederkehren.
Auf Daten angewendet, erklärt dieses Raster die verteilte Verarbeitung. Verarbeitung ist auf einer einzelnen schnellen Maschine immer einfacher und effizienter, aber wenn die Festplatte oder Netzwerkkarte eines Servers das gewünschte Volumen nicht mehr lesen kann, wird partitioniert. Das war die Beschränkung der frühen 2000er-Jahre, die MapReduce und später die RDDs von Spark hervorbrachte. Warfield hebt zwei Eigenschaften dieser Systeme hervor: Sie innovierten stark bei der Entwicklerergonomie und akzeptierten einen festen Kosten für Planung und Verteilung, wobei sie auf den durch das Hinzufügen von Maschinen gewonnenen Durchsatz setzten statt auf Effizienz pro Einheit.
Doch die Verhältnisse haben sich verändert. Eine aktuelle Instanz bietet etwa das Fünfzigfache an Speicher, Kernen und Netzwerkbandbreite der größten EC2-Instanz von 2007, während das Wachstum der Datensätze einer Verteilung folgt, deren Extremfälle den Schwanz bilden. Das Paper Scalability! But at what COST? von 2015 hatte bereits gezeigt, dass eine sorgfältig optimierte Einzelthread-Implementierung verteilte Frameworks schlagen konnte, die auf hundertachtundzwanzig Kernen liefen.
DuckDB, 2018 von Hannes Mühleisen und Mark Raasveldt lanciert, wendet diese Logik an: eine analytische Bibliotheks-Engine, die prozessintern im Adressraum der Anwendung läuft und dem Vertriebsmodell von SQLite folgt. AWS wurde Kunde von DuckLabs und anschließend Sponsor der Iceberg-Erweiterung, parallel zu seiner Arbeit an S3 Tables; die Erweiterung unterstützt inzwischen Iceberg v2 und v3 und überschreitet 800.000 Downloads pro Woche.
Warfield präsentiert das eingebettete Modell nicht als Ersatz: Wenn ein Job tausend Maschinen benötigt, benötigt er sie. Was sich ändere, schreibt er, sei, dass ein Großteil der an Daten geleisteten Arbeit tatsächlich nie einen Cluster benötigt hatte. DuckLabs stößt als Tochtergesellschaft zu AWS, wobei das Projekt unter der MIT-Lizenz und unter der Aufsicht der DuckDB Foundation quelloffen bleibt.