L'équipe engineering de Compare the Market (Meerkat Careers, UK) publie le 6 mars 2026 une évaluation empirique de quatre approches de récupération de contexte pour la revue de code par IA : Baseline (aucun contexte additionnel), RAG (recherche vectorielle par embeddings), GKG (GitLab Knowledge Graph, graphe de connaissances basé sur l'AST via Tree-sitter et la base de graphe Kuzu), et un hybride GKG+RAG. L'évaluation porte sur 79 merge requests réelles, mesurées via MLflow sur Databricks.
Le résultat principal est contre-intuitif : RAG performe pire que le baseline sur presque toutes les métriques, y compris la couverture des commentaires inline, la couverture du résumé et la précision du score. Ajouter du contexte récupéré par similarité vectorielle est non seulement inutile mais contre-productif pour la revue de code. Quatre causes sont identifiées : le bruit (la similarité vectorielle récupère du code « qui ressemble » sans être pertinent), les faux positifs, l'absence de compréhension des relations inter-fichiers, et un effet de distraction qui induit le modèle en erreur.
qui ressemble
À l'inverse, GKG surpasse RAG de +21 % en couverture des commentaires inline (0,696 vs 0,577). La raison est structurelle : la revue de code exige de savoir qui appelle une fonction, ce qu'elle appelle, et comment elle s'inscrit dans l'architecture — des informations que l'AST et le graphe de connaissances capturent nativement, mais que la similarité sémantique ne peut fournir. GKG identifie précisément les appelants, comprend les signatures de fonctions, et trace les relations de code.
L'implémentation est pragmatique : GKG étant encore en bêta et pas encore intégré nativement dans GitLab CI/CD, l'équipe a construit un conteneur Docker sidecar qui wrappe le binaire GKG, indexe le codebase à chaque pipeline de MR, et expose les outils via un serveur MCP local. Le coût est 4× le baseline, mais les améliorations sont mesurables et justifiées. RAG coûte 3× le baseline pour des résultats pires.
Cette étude confirme une tendance lourde de 2026 : pour le code, les approches structurelles (AST, graphes de connaissances, grep ciblé) surpassent les approches vectorielles (RAG sémantique). Le code n'est pas du texte — sa valeur informationnelle réside dans ses relations structurelles, pas dans sa similarité lexicale. Convergence forte avec Zhutov/QMD, Dropbox/Okumura ("the value comes from the systems surrounding the model"), et la doctrine Anthropic Data Science ("le goulot est la structure, pas l'accès"). À mobiliser comme référence empirique pour le choix d'architecture de revue de code IA et comme contre-argument au RAG-par-défaut dans le domaine du code.