Token Budget Wars

À retenir

1. Date / source. 28 mai 2026 (1h51), thread X @JayaGup10, 230,5K vues. Format essai long en un post.
2. Autrice. Jaya Gupta, investisseuse (probablement Foundation Capital — auteure du cadre Context Graphs, auto-cité).
3. Thèse-pivot. « Enterprise AI has moved from adoption to allocation » — phase 1 : les modèles savent travailler ; phase 2 : combien de ce travail vaut la peine. ### Le concept central — marginal token utility > « the business value created by each additional dollar of inference. It's the number that matters at scale, and the number most companies cannot see. »
4. C'est le dérivé du ROI : pas le coût total, mais la valeur du dollar marginal d'inférence.
5. Invisible parce que token utility n'est pas quantifiée : la facture ne dit pas si la dépense a remplacé du travail, généré du revenu, réduit du risque, accéléré un workflow… ou juste financé des ingénieurs en tokenmaxxing sur le leaderboard. ### Chronologie de la bascule | Moment | Fait | |--------|------| | Nov. 2025 | Claude shippé après le lock des budgets annuels 2026 | | Q1 2026 | Entreprises « running multiples ahead of plan » | | Seuil ~quelques 100K$ | Encore de l'expérimentation | | Seuil 7 chiffres (1M$+) | Devient de l'infrastructure → swings de P&L matériels |
6. Variance technique canonique. « two runs of the same workflow on the same input can differ in token cost by 5-10x without anything visibly going wrong » → à l'échelle infra, « a number the CFO has to explain to the CEO ». ### L'IA concurrence le travail (pas le SaaS)
7. 3 types de demandes budgétaires. remplacer travail externalisé / remplacer travail interne / générer du revenu.
8. Glissement de l'unité : du token vers le cost of a completed outcome → cost per resolved ticket, processed claim, reviewed contract, completed invoice, avoided hire, retained customer, dollar of revenue moved.
9. BPO = baseline le plus facile. (déjà tarifé en unités complétées : prix par ticket/claim/invoice/review). Travail interne = bien plus dur (employés polyvalents, gains diffus = avoided hiring/capacité, résistance RH).
10. ⚠️ Piège : « a claim that requires three retries, human correction, and a frontier model may be more expensive than the outsourced labor it was supposed to replace ». ### Pourquoi le SaaS ne s'applique plus > « The signal and the noise share the same unit. » Le token (unité de facture) est stable, mais le travail qu'il représente ne l'est pas. > « SaaS usage told you the software had been adopted. AI usage tells you the meter is running. It doesn't tell you whether your company is cooking. » ### Les 3 causes de l'invisibilité — directement actionnables (FinOps) | # | Cause | Mécanique | Levier | |---|-------|-----------|--------| | 1 | Retry tails | tokens/workflow résolu ≈ T/p ; 90%→70% complétion = +~28% coût (pas 20%, les échecs composent) | fiabiliser la complétion 1er passage | | 2 | Context inflation | coût ≈ O(n²) en longueur contexte ; doubler le contexte ×4 le raisonnement ; sur-récupération (50 docs au lieu de 5, threads email entiers, historique périmé) | hygiène du contexte, retrieval ciblé | | 3 | Routing | par défaut = modèle le plus fort ; classification basique sur modèle de raisonnement complexe | routage modèles (petit modèle pour tâches faciles) = « manageable bill vs board-level problem » | → Recoupe exactement les leviers du slot « Optimisation des coûts » de la matinée Claude Code (routage Haiku/Sonnet/Opus, prompt caching, hygiène contexte, sub-agents). ### Bifurcation sectorielle | | Software | Non-software | |--|-------------|------------------| | Nature du problème | Mesure de productivité | Transformation | | Pourquoi | Travail déjà instrumenté (PRs, commits, deploys, incidents, cycle time, MTTR) | Travail opérationnel (claims, underwriting, support, compliance, supply chain, payment disputes) | | Exigence | right on average | right under audit | | Symptôme | tracke les « AI layoffs » | unité de travail ≠ unité de coût ≠ même organisation | ### La couche manquante — token-to-outcome attribution
11. Couche de conversion. reliant : dépense d'inférence → travail effectué → outcome business.
12. 3 questions. (1) coût réel incluant retries/corrections ? (2) quelles parties du trace ont compté vs thrashing ? (3) le travail a-t-il changé l'operating model (moins de tickets/agent, cycles claims plus courts, ligne BPO réduite, embauches différées) ?
13. Attribution dans le langage du business : pas « this workflow cost $2.13 » mais « this class of claims is cheaper with agents than BPO, except when the policy requires exception documents, in which case the retry tail destroys the economics ». ### Measurement becomes memory > « Decision rationale is one of the most perishable assets in a company » — vit dans Slack threads, email chains, escalation calls, et la tête des gens (qui partent).
14. Systems of record capturent ce qui s'est passé, rarement pourquoi (un CRM dit qu'un deal a glissé, pas le jugement non-écrit derrière le forecast).
15. Les agents créent des traces. (retrieval, tool call, retry, escalation, correction humaine, décision finale).
16. Capturées d'abord pour justifier la dépense, elles deviennent « more valuable than the cost report » → un context graph (jargon dont l'autrice dit être « so tired »). ### The allocation layer is the prize
17. Qui possède le token-to-outcome attribution fait les allocation calls : quels workflows → plus de compute / cappés / modèles cheaper / restent humains / remplacent le BPO.
18. « And once you make those calls, you control where AI spend goes inside the enterprise and get to have the trust to allocate. »
19. Achat comme transformation. (playbook Fortune 500) : McKinsey + alumni Palantir + top-down CEO ; arrive comme ERP/BI/digital transformation, un « program » avec sponsor exécutif + infra = nouvelle source de vérité.
20. Les fondateurs capables de le faire seront « different people than the classic archetype ». ### À mobiliser pour
21. Slot « Optimisation des coûts » (matinée Claude Code). citation canonique pour le passage coût des tokens → coût par outcome complété ; les 3 causes (retry/context/routing) structurent la partie leviers ; « the meter is running » et « is your company cooking » = punchlines pour décideurs.
22. Offre FinOps agentique cabinet. la couche token-to-outcome attribution est une catégorie produit/conseil naissante — positionnement possible pour SFEIR (instrumenter le trace, relier au P&L).
23. Discours CFO/CEO. « a number the CFO has to explain to the CEO » — cadre exactement la conversation budget IA 2026.
24. Argument decision traces / context graph. convergence avec Foundation Capital (même autrice), Bain (execution data moat), Talisman (ontologie/governance) — measurement becomes memory = thèse du moat data 2026. ### Articulation dossier veille
25. Bain — cross-system labor. (2026-05) : même couple execution data = moat + cost of completed outcome ; Bain dimensionne le marché, Gupta dimensionne le problème de mesure qui le débloque. Tous deux citent l'IA comme substitution de coût du travail.
26. Ng — No AI jobpocalypse. (2026-05-08) : Ng décrit le pricing power (éditeurs ancrent le tarif sur le salaire de l'employé remplacé) ; Gupta décrit la contrepartie acheteur (l'IA est benchmarkée contre le BPO/le salaire). Deux faces de la même mécanique AI spend competes with labor.
27. DORA ROI. (2026-04-21) : « we don't measure AI by code it writes but by bottlenecks it clears » + « code is a liability » → Gupta = version token-level du même refus du proxy d'activité.
28. Mensch / Mistral. (2026-05-13) : « on transforme de l'électricité en intelligence, en génération de tokens » — économie electron→token côté offre ; Gupta = économie token→outcome côté demande.
29. Ensarguet — Economics of Computation. (2026-03-11) : moment kilowatt-heure, fin de l'heure-cerveau ; Gupta prolonge côté unité de valeur du compute.
30. Foundation Capital — Context Graphs. (2025-12-22, même autrice) : measurement becomes memory = pont explicite vers le cadre Context Graphs ; decision traces = nouveau system of record.
31. Wescale — Usine Logicielle Augmentée. (2026-05-03) : concept Token Burning + Manager d'Agents = pendant opérationnel FR du thrash de Gupta.
32. BFM / Girard. (2026-05-05) : « token = fuel de valeur », primes NVIDIA en tokens, métaphore taxi — convergence directe avec the meter is running.
33. @tuning_engines. (réponse — « DevSecFinOps for the Agentic Era ») : prolongement gouvernance/organisationnel de la thèse. Trois idées : (1) « Tokens will basically have to be managed like headcount » — le token devient une ressource gérée comme un effectif (budget, allocation, justification) ; (2) model hierarchies — « which model reports to which user (meaning which user can use which model in essence!) » = un contrôle d'accès par rôle (RBAC) sur les modèles : qui a le droit d'utiliser Opus vs Sonnet vs Haiku ; (3) « many organizational FTE management techniques will need application to the tokens as well » — importer les techniques RH de gestion des effectifs (planification de capacité, allocation, revue) vers la gestion des tokens. → Pont direct vers le slot Gouvernance de la matinée (quotas/permissions par utilisateur et par modèle) et convergence avec Uber Engineering (identité agent, which agent can do what).