root / tags / revue-de-code-ia
2 Fiches
Harness Engineering: ein mentales Modell für den Aufbau von Vertrauen in Coding-Agenten durch Feedforward-Guides und Feedback-Sensoren
Birgitta Böckeler
Empirische Studie des Engineering-Teams von **Compare the Market** (Meerkat Careers, UK) zur Bewertung von vier Ansätzen für **Context Retrieval beim KI-Code-Review**: Baseline (kein zusätzlicher Kontext), **RAG** (Vektorsuche), **GKG** (GitLab Knowledge Graph, AST-basierter Wissensgraph) und **GKG+RAG** (hybrid). Auswertung anhand von **79 realen Merge Requests** mit **MLflow auf Databricks**. Auffälliges Ergebnis: **RAG schneidet schlechter ab als die Baseline** bei fast allen Metriken — Vektor-Rauschen wirkt sich beim Code-Review kontraproduktiv aus. **GKG übertrifft RAG um +21 %** bei der Inline-Comments-Abdeckung (0,696 vs. 0,577) durch strukturelles AST-Verständnis (Tree-sitter + Kuzu-Graphdatenbank). Code erfordert **strukturelles** Verständnis (Aufrufer, Signaturen, Hierarchien), nicht bloße semantische Ähnlichkeit. GKG kostet das 4-Fache der Baseline, liefert aber messbare Verbesserungen; RAG kostet das 3-Fache ohne Verbesserung. Implementiert als **Docker-Sidecar** in CI/CD, der die GKG-Binary (noch in der GitLab-Beta) mit einem lokalen MCP-Server umschließt.
Équipe Engineering Compare the Market (Meerkat Careers, UK — site de comparaison d'assurances et services financiers).