Agent Harness Engineering

Puntos clave

1. Fecha y autor. 19 de abril de 2026, Addy Osmani (Google, Cloud + Gemini, ex-Chrome).
2. Ecuación bisagra. (atribuida a Viv Trivedy): "Agente = Modelo + Harness. Si no eres el modelo, eres el harness." Reformulación de Osmani: "un modelo decente con un gran harness supera a un gran modelo con un mal harness".
3. Créditos explícitos:
4. Viv Trivedy. acuñó el término harness engineering; la publicación "Anatomy of an Agent Harness" es la derivación más clara.
5. Dex Horthy / HumanLayer. el planteamiento "skill issue" — la mayoría de los fallos de los agentes son problemas de configuración, no problemas de pesos del modelo.
6. Anthropic Engineering. el mejor desglose público sobre el diseño de harnesses de larga duración.
7. Birgitta Böckeler. una buena perspectiva desde el lado del usuario.
8. Principio ratchet. "Cada línea de un buen AGENTS.md debería poder rastrearse hasta algo concreto que salió mal." Una restricción se añade solo después de un fallo real. Se elimina solo cuando un modelo más capaz la ha vuelto redundante.
9. Replanteamiento skill issue (HumanLayer). "No es un problema del modelo. Es un problema de configuración." Se rechaza explícitamente la actitud por defecto de "esperar a la próxima versión".
10. Datos de Terminal Bench. (citados por Trivedy/HumanLayer): en Terminal Bench 2.0, Claude Opus 4.6 dentro de Claude Code obtiene una puntuación notablemente inferior a la del mismo modelo dentro de un harness personalizado. El equipo de Trivedy llevó a un agente de codificación del puesto 30 al puesto 5 cambiando solo el harness. Prueba empírica contundente.
11. El patrón "working backwards from behaviour": "comportamiento que queremos (o que queremos corregir) → diseño del harness para ayudar al modelo a lograrlo". Si no puedes nombrar el comportamiento que aporta un componente, ese componente no debería estar ahí.
12. 7 primitivas del harness. 1. Sistema de archivos y Git: estado duradero, espacio de trabajo compartido entre humano y agente, versionado gratuito. 2. Bash y ejecución de código: "la diferencia entre enseñarle a alguien a usar un único utensilio de cocina y darle una cocina completa." Cita a Willison. 3. Sandboxes: aislamiento, buenas configuraciones por defecto (runtimes preinstalados, navegador headless para verificación). 4. Memoria y búsqueda: AGENTS.md recargado en cada turno + MCP/Context7 para cubrir el corte de conocimiento. 5. La lucha contra el context rot: 3 técnicas — compaction (resúmenes inteligentes), tool-call offloading (tokens de cabecera/cola, salida completa conservada en disco), skills con progressive disclosure (revelar herramientas/instrucciones bajo demanda). Anthropic añade el full context reset con un archivo estructurado de traspaso. 6. Ejecución de largo horizonte: Ralph Loop (un hook que reinyecta el prompt original en una ventana de contexto nueva), planificación con un archivo de plan, separación planner/generator/evaluator (Anthropic afirma explícitamente: "separar la generación de la evaluación supera a la autoevaluación"), contrato de sprint (negociar la condición de "terminado" antes de escribir código). 7. Hooks: capa de aplicación de reglas. Principio de HumanLayer: "el éxito es silencioso, los fallos son verbosos". Bloquear comandos bash destructivos, ejecutar el typecheck tras cada edición, exigir aprobación antes de hacer push a main.
13. AGENTS.md. "un manual de reglas en markdown plano en la raíz de tu repo... que aterriza en el system prompt en cada turno." HumanLayer mantiene el suyo en menos de 60 líneas. "Lista de verificación de piloto, no guía de estilo. Cada línea debe ganarse su lugar."
14. Economía de herramientas. "Diez herramientas enfocadas superan a cincuenta que se solapan, porque el modelo puede retener el menú completo en su cabeza." Seguridad de MCP: las descripciones de las herramientas son texto de confianza; un MCP malicioso puede hacer prompt-injection antes de que escribas nada.
15. Arquitectura en capas de Claude Code. (referencia de Fareed Khan): capa de entrada (UI, gestor de sesiones, permission gate) → capa de conocimiento (registro de skills, compresor de contexto, grafo de tareas, almacén de memoria) → capa de integración (runtime de MCP) → capa de ejecución (despacho de herramientas, runtime de streaming, prompt cache) → capa de salida → capa de observabilidad → capa multiagente (creación de subagentes, mailboxes, protocolo FSM, panel autónomo, aislador de worktrees). El bucle del agente maestro en el centro.
16. "Los harnesses no se reducen, se desplazan". (Anthropic): el aforismo que estructura el debate. Opus 4.6 eliminó el modo de fallo de context-anxiety de Sonnet 4.5 → todo el scaffolding de "mitigación de la ansiedad" es ahora código muerto. Pero el techo se desplazó: se desbloquearon nuevas tareas → nuevos modos de fallo → nuevo scaffolding (política de memoria multidía, coordinación entre 3 agentes especializados, evaluadores de calidad de diseño).
17. Cita clave de Anthropic. "cada componente de un harness codifica una suposición sobre lo que el modelo no puede hacer por sí solo."
18. Bucle de entrenamiento model-harness. una primitiva descubierta en el harness → se estandariza en el producto → se usa para el post-training del siguiente modelo → el siguiente modelo mejora en esa primitiva. Ciclo. Genera co-entrenamiento / overfitting: "a un modelo verdaderamente general le daría igual si usas apply_patch o str_replace, pero el co-entrenamiento genera overfitting." Explica por qué Opus 4.6 "se siente diferente dentro de Claude Code que dentro del harness de otro".
19. Harness-as-a-Service (HaaS). el planteamiento de Trivedy. Paso de "construir sobre APIs de LLM (completion)" a "construir sobre APIs de harness (runtime)". Tríada citada: Claude Agent SDK, Codex SDK, OpenAI Agents SDK. Cuatro pilares de configuración: system prompt, herramientas, contexto, subagentes. Aforismo de Trivedy: "construir buenos agentes es un ejercicio de iteración. No puedes iterar si no tienes una v0.1."
20. 3 preguntas abiertas sobre lo que viene. 1. Orquestación multiagente sobre una base de código compartida. 2. Harnesses autoanalizantes que detectan y corrigen sus propios modos de fallo. 3. Ensamblaje JIT de herramientas/contexto — "los harnesses dejan de ser configuración estática y empiezan a parecerse más a un compilador."
21. Observación de fondo: "Si comparas los principales agentes de codificación (Claude Code, Cursor, Codex, Aider, Cline), se parecen más entre sí que sus modelos subyacentes. Los modelos son distintos. Los patrones de harness están convergiendo."
22. Posicionamiento de la fiche: una pieza de consolidación doctrinal que reúne a Trivedy (acuñó el término, marzo de 2026), Böckeler (perspectiva del usuario, abril de 2026), Seale (agente semántico, abril de 2026). Osmani agrega y estabiliza el vocabulario compartido.