FinOps for AI Overview est le guide de référence de la FinOps Foundation, co-rédigé par un large groupe de travail (Google, AWS, MetLife, Wells Fargo, Roche, Accenture, KPMG, EY…) et publié sous licence CC BY 4.0. Il étend la discipline FinOps aux services d'IA générative en partant du token comme unité fondamentale de consommation, dont les « compteurs » diffèrent profondément des métriques cloud classiques.
Le document fournit une batterie de KPIs avec formules et exemples chiffrés : Cost Per Token (coût total / tokens), Cost Per Inference (coûts d'inférence / requêtes, ex : 0,05 $), Training Cost Efficiency (coût / point de précision), ROI ((bénéfices − coûts)/coûts × 100), et surtout le LLM Model Choice Quality Score Alignment, qui compare le score MMLU minimal requis par une tâche au MMLU du modèle réellement utilisé pour détecter le sur-dimensionnement (une analyse de sentiment à MMLU 54 ne devrait pas tourner sur GPT-4).
éviter d'utiliser les modèles les plus complexes et chers pour chaque tâche
Côté optimisation, l'accent porte sur la réduction de tokens (raccourcir les prompts en gardant la clarté), le caching des réponses répétées, la sélection de modèle (« éviter d'utiliser les modèles les plus complexes et chers pour chaque tâche ») et la model distillation pour la production.
Le cœur structurel mappe les 14 capacités du Framework FinOps sur le « commun au cloud » versus le « différent pour l'IA ». Les plus impactées : l'Allocation (traçabilité des multi-agent workloads, absence de framework standard), le Planning (estimer les outputs réussis et les séparer des hallucinations), le Forecasting (prédictibilité moindre en phases initiales), le Benchmarking (métriques per-token, rares benchmarks externes), les Unit Economics (cost-per-call, satisfaction client par dollar) et la Rate Optimization (pricing volatil type OpenAI Scale Tier).
La montée en maturité suit un modèle Crawl → Walk → Run : prototypage fail fast et calculs manuels au début ; automatisation basique du tracking et détection d'anomalies ensuite ; tracking avancé, métriques financières intégrées et vigilance à ne pas couper des coûts compromettant les exigences non-fonctionnelles en phase Run. Le document recense huit modèles de pricing (on-demand, reserved/CUD, provisioned — OpenAI Scale Tier, Azure PTU —, spot/batch, subscription, tiered, freemium, hybride) et privilégie le showback comme levier de prise de conscience avant le chargeback.
Limite notable : les agents IA ne sont pas encore traités comme catégorie distincte (seuls les multi-agent workloads affleurent sous l'Allocation), ce qui justifie les compléments d'éditeurs. Le guide s'accompagne d'une certification Certified FinOps for AI et renvoie à FinOps X 2026 (juin, San Diego).