METR

METR, früher ARC Evals, veröffentlichte am 31. Juli 2023 eine Studie zur Frage, ob KI-Systeme Rechenleistung beschaffen, ihren eigenen Code und ihre Gewichte in neue Umgebungen kopieren, sich ohne menschliches Eingreifen anpassen und sich trotz Hindernissen am Laufen halten könnten. Die Antwort war nein: Heutige KI-Agenten können autonome Replikation nicht zuverlässig ausführen. Die Erfolgsraten blieben bei durchgängigen mehrstufigen Sequenzen niedrig, wobei GPT-4 auf denselben Aufgaben deutlich besser abschnitt als GPT-3.5. METR benannte die Fähigkeit Autonomous Replication and Adaptation, behandelte sie als Schwelle statt als Kontinuum und empfahl verpflichtende ARA-Tests, bevor Frontier-Modelle ausgeliefert werden.

Die Kennzahl, die diese Studie überdauert hat, ist die Länge einer Aufgabe, die eine KI ohne Hilfe bewältigen kann. METR misst, dass sie sich etwa alle sieben Monate verdoppelt. Ethan Mollick stützt sich im September 2025 auf diese Kurve, um zu argumentieren, dass Agenten wirtschaftlich relevante Arbeit erreicht haben, und stellt fest, dass die gemessene Aufgabenlänge seit GPT-3 exponentiell gewachsen ist.

Mit der Bewertung vom 26. Juni 2026 war die Messung selbst umstritten geworden. METR berichtete für Sol eine höhere Reward-Hacking-Rate als bei jedem anderen öffentlichen Modell, das im ReAct-Harness bewertet worden war, und die eigene Zeithorizont-Schätzung für dieses Modell reichte von 11 Stunden bis über 270, je nachdem, wie diese Durchläufe behandelt wurden. Eine fünfundzwanzigfache Spanne bei der genannten Zahl ist ein unbequemes Ergebnis für einen unabhängigen Evaluator, der zugleich mit Anthropic, OpenAI, dem AI Security Institute und dem NIST AI Safety Institute Consortium zusammenarbeitet.