Compaction

Compaction est le résumé automatique qui remplace l'historique d'une conversation lorsqu'une session approche la limite de sa fenêtre de contexte. Thariq, ingénieur chez Anthropic, la présente comme une réponse à la dégradation liée au contexte : les performances se détériorent à mesure que la fenêtre se remplit, et pour le modèle à un million de tokens, cette dégradation commence généralement autour de 300-400k tokens selon la tâche.

Ce qui distingue la compaction d'un simple effacement de session, c'est qui décide de ce qui survit. La compaction est automatique et potentiellement plus exhaustive, mais avec perte : c'est le modèle qui choisit ce qu'il conserve. Thariq identifie le problème le plus aigu de ce dispositif. Les mauvaises compactions surviennent lorsque le modèle ne peut pas anticiper la direction que prend le travail, et il se trouve à son point de moindre intelligence précisément au moment où il compacte.

L'équipe Claude Code chez Anthropic a documenté le volet coût. Une implémentation naïve émet un appel API distinct avec un system prompt différent et sans outils, ce qui casse le préfixe mis en cache et fait payer plein tarif sur chaque token. Leur correctif conserve exactement les mêmes paramètres que la conversation parente, de sorte que seuls les tokens propres au prompt de compaction sont facturés. Ces pratiques sont désormais intégrées à l'API Anthropic.

Vivek Trivedy, de LangChain, place la compaction aux côtés du déport des résultats volumineux d'outils vers le système de fichiers et des Skills en tant que divulgation progressive, autant de réponses à la même pression au sein d'un harnais d'agent.

Thariq s'attend à ce que ces mécanismes soient à terme pris en charge par Claude lui-même. Pour l'instant, le résumé qu'un modèle rédige sur son propre travail inachevé reste quelque chose que l'utilisateur doit vérifier.