METR

METR, formalmente ARC Evals, publicó un estudio el 31 de julio de 2023 que preguntaba si los sistemas de IA podían adquirir capacidad de cómputo, copiar su propio código y sus pesos a nuevos entornos, adaptarse sin intervención humana y seguir funcionando pese a los obstáculos. La respuesta fue negativa: los agentes de IA actuales no pueden ejecutar de forma fiable una replicación autónoma. Las tasas de éxito se mantuvieron bajas en secuencias de extremo a extremo con varios pasos, aunque GPT-4 superó claramente a GPT-3.5 en las mismas tareas. METR denominó a esta capacidad Autonomous Replication and Adaptation, la trató como un umbral y no como un gradiente, y recomendó pruebas ARA obligatorias antes del lanzamiento de los modelos de frontera.

La métrica que sobrevivió a ese estudio es la duración de la tarea que una IA puede completar sin ayuda. METR la mide y observa que se duplica aproximadamente cada siete meses. Ethan Mollick se apoya en esa curva en septiembre de 2025 para argumentar que los agentes han alcanzado un trabajo económicamente relevante, señalando que la duración de tarea medida ha crecido de forma exponencial desde GPT-3.

En la evaluación fechada el 26 de junio de 2026, la propia medición se había vuelto motivo de controversia. METR reportó en Sol una tasa de reward hacking más alta que la de cualquier modelo público evaluado hasta entonces con el harness ReAct, y su propia estimación del horizonte temporal para ese modelo osciló entre 11 horas y más de 270 según cómo se trataran esas ejecuciones. Una dispersión de veinticinco veces en la cifra principal es un resultado incómodo para un evaluador independiente que además colabora con Anthropic, OpenAI, la AI Security Institute y el NIST AI Safety Institute Consortium.