Compare the Market

Compare the Markets Engineering-Team veröffentlichte am 6. März 2026 eine empirische Auswertung, die vier Strategien zum Kontextabruf für KI-Codereviews vergleicht, gemessen an 79 realen Merge Requests mit MLflow auf Databricks. Die vier Varianten waren eine Baseline ohne zusätzlichen Kontext, RAG per Embedding-Suche, «GKG» (GitLab Knowledge Graph, aufgebaut auf Tree-sitter-AST-Parsing und der Graphdatenbank Kuzu) sowie eine GKG+RAG-Hybridlösung.

Der Befund, der der Studie ihr Gewicht verleiht, ist negativ: RAG schnitt bei nahezu jeder Metrik schlechter ab als die Baseline, einschließlich Inline-Kommentar-Abdeckung, Zusammenfassungs-Abdeckung und Score-Genauigkeit. Das Team nennt vier Ursachen: Rauschen durch Vektor-Ähnlichkeitssuche, die lediglich ähnlich aussehenden Code findet, False Positives, fehlendes Verständnis dateiübergreifender Beziehungen und einen Ablenkungseffekt, der das Modell in die Irre führt. GKG erreichte eine Inline-Kommentar-Abdeckung von 0,696 gegenüber 0,577 bei RAG, eine Differenz von 21 Prozent. Als struktureller Grund wird angeführt, dass Code-Review Wissen darüber erfordert, wer eine Funktion aufruft und wie sie sich in die Architektur einfügt, was ein AST erfasst, semantische Ähnlichkeit hingegen nicht.

Die Umsetzung war ein Workaround: Da GKG sich im Beta-Stadium befindet und nicht in GitLab CI/CD integriert ist, verpackte das Team dessen Binary in einen Docker-Sidecar, der die Codebasis bei jeder Merge-Request-Pipeline indiziert und die Funktionalität über einen lokalen «MCP»-Server bereitstellt. Die Kosten liegen beim 4-Fachen der Baseline, gegenüber dem 3-Fachen für die schlechteren Ergebnisse von RAG.

SFEIRs fünfte SDLC-Review-Episode zitiert dies als Warnung: Ein auf Vektor-RAG aufgebauter Reviewer verschlechtert das Review.