Compare the Market

Il team di ingegneria di Compare the Market ha pubblicato il 6 marzo 2026 una valutazione empirica che confronta quattro strategie di recupero del contesto per la revisione del codice tramite IA, misurate su 79 merge request reali con MLflow su Databricks. I quattro rami erano una base di riferimento senza contesto aggiuntivo, la RAG tramite ricerca per embedding, «GKG» (GitLab Knowledge Graph, costruito sul parsing AST di Tree-sitter e sul database a grafo Kuzu) e un ibrido GKG+RAG.

Il risultato che dà peso allo studio è negativo: la RAG ha ottenuto risultati peggiori della base di riferimento su quasi tutte le metriche, inclusa la copertura dei commenti inline, la copertura dei riepiloghi e l'accuratezza del punteggio. Il team indica quattro cause: il rumore generato dalla similarità vettoriale, che recupera codice semplicemente simile nell'aspetto, i falsi positivi, l'assenza di comprensione delle relazioni tra file e un effetto di distrazione che induce in errore il modello. GKG ha raggiunto 0,696 di copertura dei commenti inline contro 0,577 della RAG, un divario del 21 percento. La ragione strutturale indicata è che la revisione richiede di sapere chi chiama una funzione e come si colloca nell'architettura, cosa che un AST cattura mentre la similarità semantica no.

L'implementazione è stata una soluzione di ripiego: poiché GKG è in beta e non integrato in GitLab CI/CD, il team ha racchiuso il suo binario in un sidecar Docker che indicizza la codebase a ogni pipeline di merge request ed espone gli strumenti tramite un server «MCP» locale. Il costo è 4 volte quello della base di riferimento, contro 3 volte per i risultati peggiori della RAG.

Il quinto episodio della rassegna SDLC di SFEIR cita questo caso come un avvertimento: un revisore basato su RAG vettoriale peggiora la revisione.