Dieser CPO-Leitfaden von Finout (November 2025) untersucht die Kostenimplikationen von KI-Architekturen anhand von vier Komplexitätsstufen und zeigt, dass die Kosten nahezu exponentiell ansteigen, wenn man von einem einfachen LLM-Workflow zu einem autonomen agentischen System übergeht.
Der rote Faden ist eine Reihe quantifizierter Token-Multiplikatoren. Ein Chatbot, der in einer Demo mit 200 Tokens antwortet, verbraucht in der Produktion 1.200 Tokens (6×), sobald Prüfungen und mehrstufiges Reasoning hinzukommen. Die FinOps Foundation beobachtet eine Varianz von 30× bis 200× zwischen einer unoptimierten und einer gut optimierten Bereitstellung. Ein Agent löst typischerweise 5 LLM-Aufrufe statt einem aus (~5×). Und vor allem erreichen die realen Gesamtkosten das 5- bis 10-Fache der direkten Cloud-Rechnung, wenn man alles einbezieht.
Teil 1 – LLM-Workflows: Die Inferenz pro Token dominiert; die Hebel sind Model-Right-Sizing, prägnante Prompts (das Hinzufügen von "be concise" reduziert die Tokens um 15–25 %), Caching und Rate Limiting. Teil 2 – RAG: Über die Inferenz hinaus entstehen neue Kostenstellen (Vektordatenbank-Speicherung, Embedding-Generierung, Retrieval, durch injizierten Kontext erweiterte Prompts, Orchestrierung, Datentransfer); Optimierung bedeutet, top-k zu begrenzen und nur neue Daten zu embedden. Teil 3 – KI-Agenten: Die Multiplikatoren entstehen durch wiederholte LLM-Aufrufe, Tool-Kosten, Orchestrierungs-Overhead und Wiederholungsversuche; die zentralen Hebel sind "Limit the Loop" (Begrenzung der Schritte, z. B. maximal 10), Tiered Reasoning (zunächst ein günstiges Modell, ein teures Modell nur bei geringer Konfidenz), das Bündeln von Tool-Aufrufen und Schwellenwert-Alarme.
Teil 4 – Agentic AI führt das zentrale Konzept des Cost Iceberg ein: über 80 % der realen Kosten eines agentischen Systems liegen unterhalb der Wasserlinie verborgen (jede Integration wird zu einem individuellen Entwicklungsprojekt, mit fachkundiger menschlicher Aufsicht, MLOps, Compliance, Observability und Scope Creep — "success can breed scope creep"). Die empfohlene Governance: Full-Stack-Sichtbarkeit, Showback/Chargeback pro Einheit, gemeinsam genutzte Infrastruktur, Budgetobergrenzen pro Agent, automatische Kill Switches ($100 in einer Stunde → Abschaltung), Sandboxing vor dem Produktivbetrieb und die Kultivierung eines Cost-Aware Mindset.
Für coding agents – das kanonische Beispiel für Tool-Use – lautet der praktische Rat: Schritte begrenzen, um Endlosschleifen zu vermeiden, identische Ausführungsergebnisse cachen, einfache Aufgaben an kleinere Modelle weiterleiten und die Validierung bündeln. Prägende Metapher: "an AI agent is like an overly eager junior employee" – gewissenhaft, aber aufsichtsbedürftig.