Lance Martin, Developer Advocate bei Anthropic, stellt den Prompt-Caching-Mechanismus für die Claude-API vor und kündigt die neue Auto-Caching-Funktion an, die dessen Nutzung erheblich vereinfacht. Tokens, die den Cache nutzen, kosten nur 10 % des Normalpreises, was eine entscheidende Ersparnis für agentische Anwendungen darstellt.
Das grundlegende Problem besteht darin, dass die Claude-Messages-API zustandslos ist: Sie behält zwischen den Aufrufen nichts. Ein Agent, der Aktionen in einer Schleife ausführt, muss bei jedem Durchlauf den neuen Kontext zusammen mit der Historie der Aktionen, den Tool-Beschreibungen und den allgemeinen Anweisungen neu verpacken. Ohne Caching bezahlt man bei jedem Durchlauf den vollen Preis des gesamten Context Window, obwohl der Großteil des Inhalts identisch ist.
Prompt Caching löst dieses Problem, indem es die beiden Phasen der LLM-Inferenz nutzt: Prefill (Prompt-Verarbeitung) und Decode (Generierung). Die Prefill-Berechnung kann einmal durchgeführt, gespeichert und dann wiederverwendet werden, wenn ein Teil des zukünftigen Prompts identisch ist. Genau das tun Frameworks wie vLLM und SGLang.
Technisch gesehen verwendet das Caching einen cache_control-Parameter, der als Breakpoint fungiert. Dieser Breakpoint erzeugt einen kryptografischen Hash aller Content-Blöcke bis zu diesem Punkt, begrenzt auf den Workspace des Nutzers. Bei nachfolgenden Anfragen sucht Claude rückwärts (bis zu 20 Blöcke) nach einer Übereinstimmung. Der Treffer muss exakt sein: Ein einziges abweichendes Zeichen erzeugt einen anderen Hash und einen Cache-Miss.
Die wichtigste Neuerung ist das Auto-Caching: Ein einziger Parameter cache_control: {"type": "ephemeral"}, der auf Request-Ebene (statt bei jedem Block) gesetzt wird, bewirkt, dass sich der Breakpoint automatisch zum letzten cachefähigen Block verschiebt. Je länger die Konversation wird, desto automatischer folgt der Breakpoint. Diese Funktion bleibt kompatibel mit dem blockweisen Caching für Fälle, in denen spezifische Breakpoints gesetzt werden sollen (zum Beispiel beim System-Prompt).
Martin zitiert @peakji von Manus, der die Cache-Trefferquote als „die einzig wichtigste Metrik für einen KI-Agenten in Produktion“ betrachtet, und verweist auf den Begleitartikel von @trq212, der die praktischen Lehren aus Claude Code im Detail beschreibt: wie der Prompt strukturiert werden sollte, um die Trefferquote zu maximieren, warum man Tools oder das Modell während einer Sitzung niemals wechseln sollte, und wie Funktionen (Plan-Modus, Compaction) unter Einhaltung der Cache-Beschränkungen konzipiert werden. Zusammen bilden die beiden Artikel einen vollständigen Leitfaden zum Aufbau cache-optimierter Agenten auf der Claude-API.