Compaction

La compactación es el resumen automático que sustituye el historial de una conversación cuando una sesión se acerca al límite de su ventana de contexto. Thariq, ingeniero de Anthropic, la plantea como una respuesta a la degradación del contexto (context rot): el rendimiento empeora a medida que la ventana se llena, y en el modelo de un millón de tokens esa degradación suele comenzar entre los 300 y 400 mil tokens, según la tarea.

Lo que distingue la compactación de simplemente borrar una sesión es quién decide qué sobrevive. La compactación es automática y potencialmente más exhaustiva, pero con pérdida: es el modelo el que elige qué conservar. Thariq señala el problema más agudo de ese arreglo. Las malas compactaciones ocurren cuando el modelo no puede anticipar hacia dónde se dirige el trabajo, y se encuentra en su punto de menor inteligencia justo cuando compacta.

El equipo de Claude Code en Anthropic documentó el lado del coste. Una implementación ingenua emite una llamada a la API separada, con un system prompt distinto y sin herramientas, lo que rompe el prefijo en caché y paga el precio completo por cada token. Su solución mantiene exactamente los mismos parámetros que la conversación original, de modo que solo se facturan los tokens propios del prompt de compactación. Esos patrones ya están incorporados en la API Anthropic.

Vivek Trivedy, de LangChain, sitúa la compactación junto a la descarga de resultados voluminosos de herramientas al sistema de archivos y las Skills como divulgación progresiva, todas ellas respuestas a la misma presión dentro de un harness de agentes.

Thariq espera que estos mecanismos acaben siendo gestionados por el propio Claude. Por ahora, el resumen que un modelo escribe sobre su propio trabajo inacabado sigue siendo algo que el usuario tiene que revisar.