root / tags / revue-de-code-ia
2 fiches
Harness engineering: un modelo mental para generar confianza en los agentes de codificación mediante guías feedforward y sensores de feedback
Birgitta Böckeler
Estudio empírico del equipo de ingeniería de **Compare the Market** (Meerkat Careers, Reino Unido) que evalúa cuatro enfoques para la **recuperación de contexto en revisión de código con IA**: Baseline (sin contexto adicional), **RAG** (búsqueda vectorial), **GKG** (GitLab Knowledge Graph, grafo de conocimiento basado en AST) y **GKG+RAG** (híbrido). Evaluación sobre **79 merge requests reales** con **MLflow en Databricks**. Resultado llamativo: **RAG rinde peor que el baseline** en casi todas las métricas — el ruido vectorial resulta contraproducente para la revisión de código. **GKG supera a RAG en un +21%** en cobertura de comentarios en línea (0,696 frente a 0,577) gracias a la comprensión estructural mediante AST (Tree-sitter + base de datos de grafos Kuzu). El código requiere comprensión **estructural** (llamadores, firmas, jerarquías), no una mera similitud semántica. GKG cuesta 4 veces el baseline pero aporta mejoras medibles; RAG cuesta 3 veces sin mejora alguna. Implementado como **sidecar Docker** en CI/CD que envuelve el binario de GKG (aún en beta en GitLab) con un servidor MCP local.
Équipe Engineering Compare the Market (Meerkat Careers, UK — site de comparaison d'assurances et services financiers).