DuckDB and the changing physics of analytics
Gastbeitrag von **Andy Warfield**, Ingenieur im **S3**-Team bei **AWS**, veröffentlicht am **26. August 2026** auf *All Things Distributed*, dem Blog von **Werner Vogels**, der ihn mit wenigen Zeilen unter „--W" einleitet: **3.554 Wörter** laut Seitenangabe. Der Text dient als Vehikel für die Ankündigung, dass **DuckLabs**, das Team hinter **DuckDB**, zu **AWS** stößt. (A) Die These: In der Systeminformatik geht es darum, den eleganten Kompromiss gegenüber einer sich verändernden „Physik" zu suchen — den Verhältnissen zwischen Speichergeschwindigkeit, Netzwerk und Rechenleistung — und diese Physik hat sich verändert. Warfield beziffert die Kluft: eine **m1.xlarge** aus dem Jahr 2007 bot **15 GB RAM**, **4 virtuelle Kerne** und **~1 Gb/s** Netzwerk; eine **m8g.48xlarge** bietet heute etwa das **50-fache** in jeder der drei Dimensionen. Das Wachstum der Datensätze folgt derweil einer Verteilung, deren Schwanz aus sehr großen Volumina besteht. (B) Die Konsequenz: Verteilte Verarbeitung — **MapReduce**, die **RDDs** von **Spark** — wurde unter den I/O-Beschränkungen der frühen 2000er-Jahre entworfen, und ein Großteil der ihr zugewiesenen Arbeit muss die Anwendung nicht mehr verlassen. Daher die eingebettete, prozessinterne Bibliotheks-Engine, die im Adressraum der Anwendung läuft und für die **DuckDB** das Beispiel liefert. Warfield verankert dies im Paper *Scalability! But at what COST?* (2015) und im Epigraph von **Paul Barham**: „You can have a second computer once you've shown you know how to use the first one." Er formuliert einen expliziten Vorbehalt: „When a job genuinely needs a thousand machines, it needs a thousand machines." Der Korpus enthält bereits [[vogels-tech-predictions-2026-allthingsdistributed-2025-11-25]] vom selben Blog und [[anthropic-self-service-data-analytics-claude-agentic-stack-2026-06-03]] zu Self-Service-Analytics.
Andy Warfield · ingénieur du service S3 chez AWS · en billet invité sur *All Things Distributed* ; introduction de Werner Vogels · CTO d'Amazon.