Jude Gao von Vercel stellt die Ergebnisse einer Vergleichsevaluation zwischen zwei Ansätzen zur Vermittlung frameworkspezifischen Wissens an KI-Agenten vor: Skills (aktiver Abruf) und AGENTS.md (passiver Kontext). Der Befund ist eindeutig: Die einfachere Methode übertrifft die ausgefeiltere deutlich.
Das Problem: Next.js 16 führt neue APIs ein (use cache, connection(), forbidden()), die in den Trainingsdaten der KI-Modelle fehlen. Ohne aktualisierte Dokumentation generieren Agenten in 47 % der Fälle fehlerhaften Code.
Skills: das Scheitern des aktiven Abrufs: Skills, ein offener Standard zur Verpackung von auf Abruf aufrufbarem Wissen, erweisen sich als fragil. In 56 % der Evaluationsfälle rief der Agent den verfügbaren Skill nie auf, was eine Erfolgsquote ergab, die mit der Baseline identisch war (53 %). Selbst nach Hinzufügen expliziter Anweisungen, die den Aufruf erzwingen (Aufrufrate über 95 %), steigt die Erfolgsquote nur auf 79 %, und die Ergebnisse schwanken erheblich je nach exakter Formulierung der Anweisungen.
AGENTS.md: der Sieg des passiven Kontexts: Eine statische Markdown-Datei, die bei jedem Turn in den System-Prompt eingefügt wird, erreicht eine Erfolgsquote von 100 % (Build, Lint und Tests). Dieser Ansatz beseitigt drei Fragilitätsquellen: den Entscheidungspunkt (der Agent muss sich nicht für einen Aufruf entscheiden), Verfügbarkeitsprobleme (die Information ist immer vorhanden) und Reihenfolgefragen (keine Handlungsabfolge erforderlich).
Aggressive Komprimierung: Dem Vercel-Team gelang es, 40 KB Dokumentation zu einem 8 KB großen Index zu komprimieren (eine Reduktion um 80 %) unter Verwendung eines Pipe-getrennten Formats, wobei die Erfolgsquote von 100 % erhalten blieb. Diese Komprimierung ist essenziell, da AGENTS.md bei jeder Interaktion Kontextfenster verbraucht.
Implikationen für das Ökosystem: Die Ergebnisse legen nahe, dass für allgemeines Framework-Wissen passiver Kontext (immer verfügbar) aktiven Abruf (auf Abruf) übertrifft. Skills behalten dennoch ihren Nutzen für explizite Aktions-Workflows. Vercel stellt einen Installationsbefehl bereit (npx @next/codemod@canary agents-md), der automatisch die Next.js-Version erkennt und die entsprechende AGENTS.md generiert.
Empfehlungen: Nicht auf eine Verbesserung der Skills warten, Dokumentation aggressiv zu Indizes komprimieren und Evaluationen erstellen, die gezielt auf APIs abzielen, die in den Trainingsdaten fehlen. Diese Ergebnisse haben direkte Implikationen für alle Framework- und Bibliotheksbetreuer, die die Kompatibilität mit KI-Coding-Agenten optimieren möchten.