FinOps for AI Overview ist der Referenzleitfaden der FinOps Foundation, gemeinsam verfasst von einer breiten Arbeitsgruppe (Google, AWS, MetLife, Wells Fargo, Roche, Accenture, KPMG, EY…) und unter einer CC BY 4.0-Lizenz veröffentlicht. Er erweitert die FinOps-Disziplin auf generative KI-Dienste, ausgehend vom Token als fundamentaler Verbrauchseinheit, deren „Zähler“ sich grundlegend von klassischen Cloud-Metriken unterscheiden.
Das Dokument liefert eine Reihe von KPIs mit Formeln und durchgerechneten Beispielen: Cost Per Token (Gesamtkosten / Tokens), Cost Per Inference (Inferenzkosten / Anfragen, z. B. 0,05 $), Training Cost Efficiency (Kosten / Genauigkeitspunkt), ROI ((Nutzen − Kosten)/Kosten × 100) und vor allem das LLM Model Choice Quality Score Alignment, das den für eine Aufgabe minimal erforderlichen MMLU-Wert mit dem MMLU des tatsächlich verwendeten Modells vergleicht, um Überprovisionierung zu erkennen (eine Sentiment-Analyse-Aufgabe, die MMLU 54 erfordert, sollte nicht auf GPT-4 laufen).
Auf der Seite der Optimierung liegt der Schwerpunkt auf Token-Reduktion (Kürzung von Prompts bei Erhalt der Klarheit), Caching wiederkehrender Antworten, Modellauswahl („vermeide es, für jede Aufgabe die komplexesten und teuersten Modelle einzusetzen“) und Modell-Distillation für die Produktion.
Den strukturellen Kern bildet die Zuordnung der 14 Fähigkeiten des FinOps Framework zu „gemeinsam mit Cloud“ versus „anders bei KI“. Am stärksten betroffen: Allocation (Nachvollziehbarkeit von Multi-Agent-Workloads, Fehlen eines Standardrahmens), Planning (Abschätzung erfolgreicher Ausgaben und deren Trennung von Halluzinationen), Forecasting (geringere Vorhersagbarkeit in frühen Phasen), Benchmarking (Metriken pro Token, wenige externe Benchmarks), Unit Economics (Kosten pro Aufruf, Kundenzufriedenheit pro Dollar) und Rate Optimization (volatile Preisgestaltung wie OpenAI Scale Tier).
Die Reifegradentwicklung folgt einem Crawl-Walk-Run-Modell: zu Beginn fail-fast-Prototyping und manuelle Berechnungen; danach Automatisierung des grundlegenden Trackings und Anomalieerkennung; in der Run-Phase fortgeschrittenes Tracking, integrierte Finanzkennzahlen und Wachsamkeit gegenüber Kostensenkungen, die nichtfunktionale Anforderungen gefährden. Das Dokument listet acht Preismodelle auf (On-Demand, Reserved/CUD, Provisioned — OpenAI Scale Tier, Azure PTU —, Spot/Batch, Subscription, Tiered, Freemium, Hybrid) und bevorzugt Showback als Sensibilisierungsinstrument vor Chargeback.
Eine bemerkenswerte Einschränkung: KI-Agenten werden noch nicht als eigenständige Kategorie behandelt (nur Multi-Agent-Workloads tauchen unter Allocation auf), was den Wert von Anbieter-Ergänzungen erklärt. Der Leitfaden wird von einer Certified FinOps for AI-Zertifizierung begleitet und verweist auf die FinOps X 2026 (Juni, San Diego).