Ce guide CPO de Finout (novembre 2025) examine les implications de coût des architectures IA à travers quatre paliers de complexité croissante, en démontrant que le coût gonfle de façon quasi-exponentielle à mesure qu'on passe du LLM workflow simple au système agentique autonome.
Le fil rouge est une série de multiplicateurs de tokens chiffrés. Un chatbot répondant en 200 tokens en démo consomme 1 200 tokens en production (6×), une fois ajoutés les vérifications et le raisonnement multi-étapes. La FinOps Foundation observe une variance de 30× à 200× entre un déploiement non-optimisé et un déploiement bien optimisé. Un agent déclenche typiquement 5 appels LLM au lieu d'un (~5×). Et surtout, le coût réel total atteint 5 à 10× la facture cloud directe une fois tout compté.
an AI agent is like an overly eager junior employee
Partie 1 — LLM Workflows : l'inférence par token domine ; les leviers sont le right-sizing de modèle, des prompts concis (ajouter « be concise » réduit les tokens de 15-25%), le caching, le rate limiting. Partie 2 — RAG : de nouveaux centres de coûts apparaissent au-delà de l'inférence (stockage vector DB, génération d'embeddings, retrieval, prompts élargis par le contexte injecté, orchestration, transfert de données) ; on optimise en limitant le top-k et en n'embarquant que les données nouvelles. Partie 3 — AI Agents : les multiplicateurs viennent des appels LLM répétés, des coûts d'outils, de l'overhead d'orchestration et des retries ; les leviers-clés sont « Limit the Loop » (plafonner les étapes, p.ex. 10 max), le tiered reasoning (modèle bon marché d'abord, modèle cher seulement si faible confiance), le batching d'appels d'outils et des alertes de seuil.
Partie 4 — Agentic AI introduit le concept central du Cost Iceberg : plus de 80% du coût réel d'un système agentique est caché sous la ligne de flottaison (chaque intégration devient un projet de dev custom, supervision humaine par des experts, MLOps, compliance, observabilité, et scope creep — « success can breed scope creep »). La gouvernance recommandée : visibilité full-stack, showback/chargeback par unité, infrastructure partagée, budget caps par agent, kill switches automatiques (100 $ en une heure → arrêt), sandbox avant production et éducation d'un cost-aware mindset.
Pour les coding agents — exemple canonique du tool-use — les conseils pratiques sont : plafonner les étapes pour éviter les boucles infinies, cacher les résultats d'exécution identiques, router les tâches simples vers de petits modèles et batcher la validation. Métaphore-marqueur : « an AI agent is like an overly eager junior employee » — diligent mais à encadrer.