Lance Martin, developer advocate en Anthropic, presenta el mecanismo de caché de prompts para la API de Claude y anuncia la nueva función de auto-caching que simplifica considerablemente su uso. Los tokens que utilizan la caché cuestan solo el 10% del precio normal, lo que representa un ahorro crítico para las aplicaciones agénticas.
El problema fundamental es que la API de mensajes de Claude es stateless: no conserva nada entre llamadas. Un agente que ejecuta acciones en bucle debe reempaquetar, en cada turno, el nuevo contexto junto con el historial de acciones, las descripciones de herramientas y las instrucciones generales. Sin caché, se paga el precio completo de toda la ventana de contexto en cada turno, aunque la mayor parte del contenido sea idéntica.
El caché de prompts resuelve este problema explotando las dos fases de la inferencia LLM: prefill (procesamiento del prompt) y decode (generación). El cálculo de prefill puede realizarse una sola vez, guardarse y luego reutilizarse si parte del prompt futuro es idéntica. Esto es lo que hacen frameworks como vLLM y SGLang.
Técnicamente, el caché utiliza un parámetro cache_control que actúa como un punto de ruptura. Este punto de ruptura crea un hash criptográfico de todos los bloques de contenido hasta ese punto, delimitado al espacio de trabajo del usuario. En las solicitudes posteriores, Claude busca hacia atrás (hasta 20 bloques) para encontrar una coincidencia. La coincidencia debe ser exacta: un solo carácter de diferencia produce un hash distinto y un cache miss.
La gran novedad es el auto-caching: un único parámetro cache_control: {"type": "ephemeral"} colocado a nivel de la solicitud (en lugar de en cada bloque) hace que el punto de ruptura se desplace automáticamente al último bloque cacheable. A medida que la conversación se alarga, el punto de ruptura sigue automáticamente. Esta función sigue siendo compatible con el caché bloque por bloque para los casos en que se desea fijar puntos de ruptura específicos (por ejemplo, en el system prompt).
Martin cita a @peakji de Manus, quien considera que la tasa de aciertos de caché es "la métrica más importante para un agente de IA en producción", y señala el artículo complementario de @trq212, que detalla las lecciones prácticas extraídas de Claude Code: cómo estructurar el prompt para maximizar los aciertos, por qué nunca se debe cambiar de herramientas o de modelo a mitad de sesión, y cómo diseñar funciones (plan mode, compaction) respetando las restricciones del caché. Juntos, los dos artículos forman una guía completa para construir agentes optimizados para caché sobre la API de Claude.