Esta guía para CPO de Finout (noviembre de 2025) examina las implicaciones de costos de las arquitecturas de IA a través de cuatro niveles de complejidad creciente, y demuestra que el costo se infla de forma casi exponencial al pasar de un flujo de trabajo LLM simple a un sistema agéntico autónomo.
El hilo conductor es una serie de multiplicadores de tokens cuantificados. Un chatbot que responde con 200 tokens en una demo consume 1200 tokens en producción (6×), una vez que se añaden verificaciones y razonamiento multietapa. La FinOps Foundation observa una variación de 30× a 200× entre un despliegue sin optimizar y uno bien optimizado. Un agente suele generar 5 llamadas a LLM en lugar de una (~5×). Y sobre todo, el costo total real alcanza de 5 a 10 veces la factura directa de la nube una vez contabilizado todo.
Parte 1 — Flujos de trabajo LLM: predomina la inferencia por token; las palancas son el ajuste del tamaño del modelo (right-sizing), prompts concisos (añadir "be concise" reduce los tokens en un 15-25%), el caché y la limitación de tasa (rate limiting). Parte 2 — RAG: aparecen nuevos centros de costo más allá de la inferencia (almacenamiento en base de datos vectorial, generación de embeddings, recuperación, prompts ampliados por el contexto inyectado, orquestación, transferencia de datos); optimizar implica limitar el top-k e incorporar (embed) solo los datos nuevos. Parte 3 — Agentes de IA: los multiplicadores provienen de llamadas repetidas a LLM, costos de herramientas, sobrecarga de orquestación y reintentos; las palancas clave son "Limitar el Bucle" (limitar los pasos, por ejemplo a 10 como máximo), el razonamiento escalonado (modelo barato primero, modelo costoso solo ante baja confianza), agrupar las llamadas a herramientas y las alertas por umbral.
Parte 4 — IA Agéntica introduce el concepto central del Iceberg de Costos: más del 80% del costo real de un sistema agéntico permanece oculto bajo la línea de flotación (cada integración se convierte en un proyecto de desarrollo a medida, supervisión humana experta, MLOps, cumplimiento normativo, observabilidad y desbordamiento del alcance — "el éxito puede generar desbordamiento del alcance"). La gobernanza recomendada: visibilidad de extremo a extremo, showback/chargeback por unidad, infraestructura compartida, límites de presupuesto por agente, interruptores de apagado automáticos ($100 en una hora → apagado), pruebas en sandbox antes de producción, y cultivar una mentalidad consciente del costo.
Para los coding agents —el ejemplo canónico del uso de herramientas (tool-use)— el consejo práctico es: limitar los pasos para evitar bucles infinitos, almacenar en caché los resultados de ejecuciones idénticas, dirigir las tareas simples a modelos más pequeños y agrupar (batch) la validación. Metáfora distintiva: "un agente de IA es como un empleado junior demasiado entusiasta" —diligente pero necesitado de supervisión.