Nicholas Carlini, chercheur de l'équipe Safeguards d'Anthropic, a dirigé une expérience ambitieuse : faire construire un compilateur C en Rust entièrement par des agents Claude Opus 4.6 travaillant en parallèle, sans intervention humaine directe sur le code.
Architecture multi-agents : 16 instances Claude ont travaillé simultanément dans des conteneurs Docker isolés, partageant un dépôt Git en amont. Chaque agent sélectionne autonomement sa prochaine tâche via un système de verrous fichiers. La synchronisation repose sur Git : un agent réclame une tâche, travaille dessus, push ses modifications, puis passe à la suivante. Aucune communication explicite entre agents n'est nécessaire.
Résultats impressionnants : en environ 2 000 sessions Claude Code et 20 000 dollars de coût API (2 milliards de tokens en entrée, 140 millions en sortie), le compilateur résultant de 100 000 lignes compile avec succès Linux 6.9 sur trois architectures (x86, ARM, RISC-V), ainsi que des projets majeurs comme QEMU, FFmpeg, SQLite, PostgreSQL, Redis et même Doom, avec 99% de réussite sur les suites de tests compilateur dont la suite de torture GCC.
Leçons de conception : L'auteur partage quatre enseignements clés. Premièrement, la qualité des tests est critique car les agents résolvent exactement ce qui est spécifié. Deuxièmement, il faut se mettre à la place de Claude : chaque agent entre dans un environnement vierge sans contexte, nécessitant une documentation exhaustive et une sortie minimale pour préserver la fenêtre de contexte. Troisièmement, faciliter le parallélisme est essentiel : facile quand de nombreux tests indépendants échouent, mais la compilation du noyau Linux a posé problème car tous les agents corrigeaient les mêmes bugs. La solution : utiliser GCC comme "oracle de référence" pour répartir aléatoirement les fichiers à compiler. Quatrièmement, la spécialisation des agents par rôle (déduplication, optimisation, design review, documentation) maximise l'efficacité.
Progression des modèles : L'article sert aussi de benchmark des capacités. Opus 4 produisait à peine un compilateur fonctionnel, Opus 4.5 a permis le premier compilateur passant des suites de tests, et Opus 4.6 repousse les limites en compilant de vrais projets à grande échelle.
Enjeux de sécurité : L'auteur, fort de son background en tests de pénétration, rappelle que passer les tests ne garantit pas la correction du logiciel. Le déploiement autonome de code non vérifié par des humains représente un risque réel nécessitant de nouvelles stratégies de sécurité. Le code source est disponible sur GitHub (anthropics/claudes-c-compiler).