Diese am 3. Juni 2026 im Anthropic-Blog veröffentlichte Engineering-Retrospektive des Data Science & Data Engineering-Teams (Chen Chang, Clement Peng, Justin Leder, Johanne Jiao, Josh Cherry) schildert, wie Anthropic seine Analytics mit Claude self-service gemacht hat: 95 % der geschäftlichen Abfragen automatisiert, ~95 % Genauigkeit im Aggregat (bis zu ~99 % in bestimmten Bereichen).

Ausgangspunkt ist, dass Analytics kein Code ist: „es gibt oft nur eine einzige korrekte Antwort mit einer einzigen korrekten Quelle". Die Herausforderung liegt nicht in generativer Kreativität, sondern in der Fähigkeit, eine Frage präzisen, aktuellen Entitäten im Datenmodell zuzuordnen. Drei Fehlermodi bedrohen dies: Konzept↔Entitäts-Mehrdeutigkeit (was sind „aktive Nutzer"? schließt man Betrüger aus? welches Zeitfenster?), Veralterung (Staleness) von Assets und dem Wissen des Agenten, sowie Retrieval-Fehler — 80 % der fehlgeschlagenen Abfragen hatten die Information dennoch im Korpus vorhanden. Am schlimmsten ist der stille Fehler (silent failure): eine falsche, plausibel wirkende Antwort, die widerspruchslos verwendet wird.

Die Antwort ist ein vierschichtiger „agentic analytics stack". (1) Data foundations: dimensionale Modellierung, kanonische Datensätze „single source-of-truth", Metadaten behandelt „als erstklassiges Produkt", Integrität via CI/CD. (2) Vertrauensquellen (Sources of truth) in absteigender Vertrauensreihenfolge: ein semantic layer, den der Agent „strukturell verpflichtet ist (per Skill-Anweisung), zuerst zu nutzen", dann Lineage, ein Query-Korpus, destilliert in Dokumente (kein Rohabruf), und ein geschäftlicher Knowledge Graph (Roadmaps, Entscheidungsprotokolle, Organisation). (3) Skills — der entscheidende Hebel: „ohne Skills … nicht über 21 % hinaus … Mit Skills liegen diese Zahlen durchgängig über 95 %". Sie sind in Paaren organisiert: ein Router-Knowledge skill (~30 Referenzdateien) und ein Unbook skill, der den Workflow des Senior-Analysten kodiert (klären, Quellen finden, ausführen, adversarial review). Die Pflege ist kolokiert: ein Review-Hook markiert jede Modelländerung, die keine Skill-Anpassung enthält — ~90 % der Daten-PRs enthalten inzwischen einen Skill im selben Diff. (4) Validierung: schwellenwertgesteuerte Offline-Evals (~90 % zur Freigabe eines Agenten), Ablationstests und Online-Schutzmaßnahmen (adversarial review: +6 % Genauigkeit, aber +32 % Tokens und +72 % Latenz; Provenance-Footer; Correction Harvesting durch geplante Agenten).

Zwei negative Ergebnisse prägen die Doktrin: Der Zugriff per rohem Grep über Tausende SQL-Dateien verändert die Genauigkeit „um weniger als einen Punkt" (der Engpass ist die Struktur, nicht der Zugriff), und das LLM Metriken definieren zu lassen, war „net-negative" — daher die Regel: Dokumentation generiert, Definitionen im Besitz von Menschen. Für den Einstieg genügen: eine Handvoll kanonischer Datensätze, ein paar Dutzend Evals, ein schlanker Knowledge Skill.