Publicada el 3 de junio de 2026 en el blog de Anthropic, esta retrospectiva de ingeniería del equipo de Data Science & Data Engineering (Chen Chang, Clement Peng, Justin Leder, Johanne Jiao, Josh Cherry) relata cómo Anthropic convirtió su analítica en autoservicio con Claude: 95% de las consultas de negocio automatizadas, ~95% de precisión en conjunto (hasta ~99% en determinados dominios).

El punto de partida es que la analítica no es código: "a menudo solo existe una única respuesta correcta usando una única fuente correcta". El desafío no es la creatividad generativa, sino la capacidad de vincular una pregunta con entidades precisas y actualizadas dentro del modelo de datos. Tres modos de fallo amenazan esto: la ambigüedad concepto↔entidad (¿qué son los "usuarios activos"? ¿se excluye a los fraudulentos? ¿qué ventana?), la obsolescencia (staleness) de los activos y del conocimiento del agente, y el fallo de recuperación — el 80% de las consultas fallidas tenían, sin embargo, la información presente en el corpus. Lo peor de todo es el fallo silencioso: una respuesta incorrecta pero plausible, utilizada sin objeción.

La respuesta es una "pila analítica agéntica" de cuatro capas. (1) Fundamentos de datos: modelado dimensional, datasets canónicos "fuente única de la verdad", metadatos tratados "como producto de primera clase", integridad vía CI/CD. (2) Fuentes de verdad en orden decreciente de confianza: una semantic layer que el agente está "estructuralmente obligado (por instrucción de la skill) a utilizar primero", después el linaje, un corpus de consultas destilado en documentos (no una recuperación bruta), y un grafo de conocimiento de negocio (hojas de ruta, registros de decisiones, organización). (3) Skills — la palanca decisiva: "sin skills … no superaba el 21% … Añadir skills sitúa estas cifras de forma consistente por encima del 95%". Se organizan en pares: una Knowledge skill enrutadora (~30 archivos de referencia) y una Unbook skill que codifica el flujo de trabajo del analista senior (aclarar, encontrar fuentes, ejecutar, revisión adversarial). El mantenimiento es colocalizado: un hook de revisión señala cualquier cambio de modelo que no incluya una modificación de skill — el ~90% de las PR de datos incluye ahora una skill en el mismo diff. (4) Validación: evals offline con umbral (~90% para autorizar un agente), pruebas de ablación, y salvaguardas online (revisión adversarial: +6% de precisión pero +32% de tokens y +72% de latencia; pies de procedencia; recolección de correcciones por agentes programados).

Dos resultados negativos moldean la doctrina: dar acceso a grep bruto sobre miles de archivos SQL mueve la precisión "menos de un punto" (el cuello de botella es la estructura, no el acceso), y dejar que el LLM definiera las métricas fue "netamente negativo" — de ahí la regla: documentación generada, definiciones en manos de humanos. Para empezar: un puñado de datasets canónicos, unas pocas decenas de evals, una knowledge skill ligera.