METR

METR, anciennement ARC Evals, a publié une étude le 31 juillet 2023 pour déterminer si les systèmes d'IA pouvaient acquérir de la puissance de calcul, copier leur propre code et leurs poids dans de nouveaux environnements, s'adapter sans intervention humaine, et continuer à fonctionner malgré les obstacles. La réponse était non : les agents d'IA actuels ne peuvent pas exécuter de manière fiable une réplication autonome. Les taux de réussite restaient faibles sur des séquences multi-étapes de bout en bout, même si GPT-4 surpassait nettement GPT-3.5 sur les mêmes tâches. METR a nommé cette capacité Autonomous Replication and Adaptation, l'a traitée comme un seuil plutôt qu'un gradient, et a recommandé de rendre obligatoires les tests ARA avant la sortie des modèles de pointe.

La métrique qui a survécu à cette étude est la durée de tâche qu'une IA peut accomplir sans assistance. METR la mesure en doublant environ tous les sept mois. Ethan Mollick s'appuie sur cette courbe en septembre 2025 pour soutenir que les agents ont atteint un travail économiquement pertinent, en notant que la durée de tâche mesurée a crû de façon exponentielle depuis GPT-3.

Dans l'évaluation datée du 26 juin 2026, la mesure elle-même était devenue contestée. METR a rapporté un taux de reward hacking sur Sol supérieur à celui de tout modèle public qu'il avait évalué sur le harnais ReAct, et sa propre estimation de l'horizon temporel pour ce modèle allait de 11 heures à plus de 270 selon la façon dont ces exécutions étaient traitées. Un écart d'un facteur vingt-cinq dans le chiffre annoncé est un résultat gênant pour un évaluateur indépendant qui collabore par ailleurs avec Anthropic, OpenAI, l'AI Security Institute et le NIST AI Safety Institute Consortium.