Nicholas Carlini, ricercatore del team Safeguards di Anthropic, ha condotto un esperimento ambizioso: la realizzazione di un compilatore C in Rust interamente da parte di agenti Claude Opus 4.6 che operano in parallelo, senza intervento umano diretto sul codice.

Architettura multi-agente: 16 istanze di Claude hanno lavorato simultaneamente in container Docker isolati, condividendo un repository Git upstream. Ogni agente seleziona autonomamente il proprio compito successivo tramite un sistema di file-lock. La sincronizzazione si basa su Git: un agente rivendica un compito, lo esegue, effettua il push delle modifiche, quindi passa al successivo. Non è richiesta alcuna comunicazione esplicita tra agenti.

Risultati notevoli: in circa 2.000 sessioni di Claude Code e 20.000 dollari di costo API (2 miliardi di token in input, 140 milioni di token in output), il compilatore risultante, di 100.000 righe, compila con successo Linux 6.9 su tre architetture (x86, ARM, RISC-V), così come progetti di rilievo quali QEMU, FFmpeg, SQLite, PostgreSQL, Redis e persino Doom, con un tasso di successo del 99% sulle suite di test del compilatore, inclusa la suite torture di GCC.

Lezioni di progettazione: l'autore condivide quattro insegnamenti principali. Primo, la qualità dei test è determinante poiché gli agenti risolvono esattamente ciò che viene specificato. Secondo, occorre mettersi nei panni di Claude: ogni agente entra in un ambiente vuoto privo di contesto, il che richiede una documentazione esaustiva e un output minimo per preservare la finestra di contesto. Terzo, facilitare il parallelismo è essenziale: agevole quando molti test indipendenti falliscono, ma la compilazione del kernel Linux ha posto un problema poiché tutti gli agenti correggevano gli stessi bug. La soluzione: utilizzare GCC come "oracolo di riferimento" per distribuire casualmente i file da compilare. Quarto, specializzare gli agenti per ruolo (deduplicazione, ottimizzazione, revisione della progettazione, documentazione) massimizza l'efficienza.

Progressione dei modelli: l'articolo funge anche da benchmark delle capacità. Opus 4 produceva a malapena un compilatore funzionante, Opus 4.5 ha permesso il primo compilatore in grado di superare le suite di test, e Opus 4.6 spinge i limiti compilando progetti reali su larga scala.

Preoccupazioni di sicurezza: l'autore, forte della sua esperienza in penetration testing, osserva che il superamento dei test non garantisce la correttezza del software. Il dispiegamento autonomo di codice non verificato da esseri umani rappresenta un rischio reale che richiede nuove strategie di sicurezza. Il codice sorgente è disponibile su GitHub (anthropics/claudes-c-compiler).