Compaction

Compaction ist die automatische Zusammenfassung, die den Gesprächsverlauf ersetzt, wenn eine Sitzung an das Limit des Kontextfensters stößt. Thariq, ein Ingenieur bei Anthropic, beschreibt sie als eine Antwort auf Context Rot: Die Leistung verschlechtert sich, während sich das Fenster füllt, und bei dem Modell mit einer Million Token setzt diese Verschlechterung je nach Aufgabe typischerweise bei 300-400k Token ein.

Was Compaction von einem einfachen Löschen der Sitzung unterscheidet, ist die Frage, wer entscheidet, was erhalten bleibt. Compaction läuft automatisch ab und kann dadurch gründlicher sein, ist aber verlustbehaftet: Das Modell wählt aus, was behalten wird. Thariq benennt das schärfste Problem dabei. Schlechte Compactions entstehen, wenn das Modell nicht absehen kann, wohin die Arbeit sich entwickelt, und genau dann, wenn kompaktiert wird, befindet es sich an seinem Punkt der geringsten Intelligenz.

Das Claude-Code-Team bei Anthropic hat die Kostenseite dokumentiert. Eine naive Implementierung setzt einen separaten API-Aufruf mit einem anderen System-Prompt und ohne Tools ab, wodurch das gecachte Präfix bricht und für jedes Token der volle Preis fällig wird. Ihre Lösung übernimmt exakt dieselben Parameter wie das übergeordnete Gespräch, sodass nur die Token des Compaction-Prompts selbst berechnet werden. Diese Muster sind inzwischen in die API Anthropic eingeflossen.

Vivek Trivedy von LangChain stellt Compaction neben das Auslagern umfangreicher Tool-Ergebnisse ins Dateisystem und Skills als progressive Offenlegung, alles Antworten auf denselben Druck innerhalb eines Agent-Harnesses.

Thariq erwartet, dass diese Mechanismen irgendwann von Claude selbst übernommen werden. Vorerst ist die Zusammenfassung, die ein Modell über seine eigene unvollendete Arbeit verfasst, noch etwas, das der Nutzer überprüfen muss.