How Anthropic enables self-service data analytics with Claude
REX d'ingénierie de l'équipe Data Science & Data Engineering d'Anthropic (Chen Chang, Clement Peng, Justin Leder, Johanne Jiao, Josh Cherry) publié le 3 juin 2026 sur le blog Anthropic (catégorie Enterprise AI, focus Claude Code). Résultat-phare : « 95 % des requêtes d'analytics métier sont automatisées par Claude, avec ~95 % de précision en agrégat » (jusqu'à ~99 % sur certains domaines). Problème central : l'analytics n'est pas du code — « there's often only a single correct answer using a single correct source » — il faut mapper une question utilisateur à des entités précises et à jour du modèle de données.
Publié le 3 juin 2026 sur le blog Anthropic, ce REX de l'équipe Data Science & Data Engineering (Chen Chang, Clement Peng, Justin Leder, Johanne Jiao, Josh Cherry) raconte comment Anthropic a rendu son analytics self-service grâce à Claude : 95 % des requêtes métier automatisées, ~95 % de précision en agrégat (jusqu'à ~99 % sur certains domaines).
Le point de départ est que l'analytics n'est pas du code : « there's often only a single correct answer using a single correct source ». L'enjeu n'est pas la créativité générative mais la capacité à mapper une question à des entités précises et à jour du modèle de données. Trois modes d'échec menacent : l'ambiguïté concept↔entité (que sont les « active users » ? exclut-on les fraudeurs ? quelle fenêtre ?), l'obsolescence des assets et de la connaissance de l'agent, et l'échec de retrieval — 80 % des requêtes échouées avaient pourtant l'information présente dans le corpus. Le pire étant l'échec silencieux : une réponse fausse, plausible, utilisée sans objection.
95 % des requêtes d'analytics métier sont automatisées par Claude, avec ~95 % de précision en agrégat
— **Chen Chang , claude.com
La réponse est un « agentic analytics stack » en quatre couches. (1) Data foundations : dimensional modeling, canonical datasets« single source-of-truth », métadonnées traitées « as a first-class product », intégrité par CI/CD. (2) Sources of truth par confiance décroissante : un semantic layer que l'agent est « structurally required (by skill instruction) to leverage first », puis le lineage, un query corpus distillé en documents (pas du retrieval brut), et un knowledge graph métier (roadmaps, decision logs, org). (3) Skills — le levier décisif : « without skills … didn't exceed 21 % … Adding skills gets these numbers consistently above 95 % ». Ils s'organisent par paires : un Knowledge skill routeur (~30 fichiers de référence) et un Unbook skill encodant le workflow de l'analyste senior (clarifier, trouver les sources, exécuter, revue adversariale). La maintenance est colocalisée : un hook de revue signale tout changement de modèle sans modification de skill — ~90 % des PR data incluent désormais un skill dans le même diff. (4) Validation : evals offline à seuil (~90 % pour autoriser un agent), ablation testing et garde-fous online (revue adversariale +6 % de précision mais +32 % de tokens et +72 % de latence ; provenance footers ; correction harvesting par agents planifiés).
Deux résultats négatifs structurent la doctrine : donner un grep brut sur des milliers de fichiers SQL ne bouge la précision « less than a point » (le goulot est la structure, pas l'accès), et laisser le LLM définir les métriques fut « net-negative » — d'où la règle : documentation generated, definitions owned by humans. Pour démarrer : quelques canonical datasets, quelques dizaines d'evals, un thin knowledge skill.
À retenir
Date / source.3 juin 2026, blog Anthropic (claude.com/blog, Enterprise AI). Auteurs : équipe Data Science & Data Engineering d'Anthropic (Chang, Peng, Leder, Jiao, Cherry).
Résultat-phare.95 % des requêtes analytics métier automatisées, ~95 % de précision agrégée (jusqu'à ~99 % sur certains domaines).
Thèse. l'analytics ≠ le code — « only a single correct answer using a single correct source » → l'enjeu est de mapper la question aux bonnes entités à jour, pas de générer. ### 3 modes d'échec 1. Ambiguïté concept↔entité — des centaines d'options ; ex. « active users » (quelles actions ? exclure fraudeurs ? quelle lookback window ?). 2. Obsolescence (staleness) — assets et connaissance de l'agent deviennent « subtly wrong » (schémas/définitions changent en continu). 3. Échec de retrieval — 80 % des requêtes échouées avaient pourtant l'info présente dans le corpus.
Danger ultime = échec silencieux : « the answer is wrong, but looks plausible and is used without objection ». ### Stack agentique en 4 couches
L4 — Validation. evals offline (seuil ~90 % pour autoriser un agent, cible ~100 %, ground truth figé sur snapshot, « store results like telemetry »), ablation testing, online (revue adversariale, provenance footers, data quality checks, correction harvesting par agents planifiés). ### Résultats notables (chiffres & ablations)
Sans skills ≤ 21 %. ; avec skills > 95 % (≈99 % sur certains domaines).
Revue adversariale.+6 % précision, mais +32 % tokens et +72 % latence (arbitrage à assumer).
Ablation grep brut. (milliers de fichiers SQL accessibles) : précision bouge « less than a point » → le goulot est la structure, pas l'accès.
Définitions générées par LLM. = « net-negative » (encodent les ambiguïtés qu'on voulait éliminer) → definitions owned by humans.
Retrieval non structuré. sur des milliers de requêtes : gain < 1 point → corpus à distiller, pas à retrouver brut.
Maintenance. hook de code-review → ~90 % des PR data touchent un fichier skill dans le même diff. ### À mobiliser en mission / présentation
Blueprint d'agent analytics de production. transposable : gouvernance data + semantic layer obligatoire + skills + evals à seuil.
Démarrage minimal. (à reprendre tel quel) : « a handful of canonical datasets, a few dozen offline evals, and a thin knowledge skill » captent « most of the upside ».
Arguments anti-RAG-naïf. les deux résultats négatifs (grep brut, retrieval non structuré) = munitions contre le « il suffit de tout donner à l'agent ».
Métrique de gouvernance vivante.« 90 % des PR incluent un skill » = preuve que doc et code évoluent ensemble (anti-staleness).
Articule : skills (Shihipar/Anthropic), semantic layer/ontology (Talisman, Seale), context engineering (Debois/Tessl), systems around the model (Dropbox), knowledge graph data (Netflix UDA).
Chiffres clés
95% des requêtes analytics métier automatisées via Claude