Efficient Tokens & Effective Teams in Buzz

À retenir

1. Date / source. 6 août 2026, engineering.block.xyz, signé Atish Patel. Mesures sur Harbor, agents Buzz réels sur relais live, une tentative par tâche, sans retry, prix au 2026-07-30.
2. Cadrage clé. la question posée n'est pas « quelle est la meilleure équipe » mais « quelle est la moins chère qui réussit de façon fiable ». Tous les résultats en découlent. ### Résultat négatif sur les tâches courtes Sur Terminal-Bench 2.1, douze compositions — paires, triades, essaims bon marché sous chef frontier — opposées à l'agent solo autour duquel chacune était construite : aucune ne l'a devancé à prix équivalent. Raison donnée comme structurelle : une tâche qui finit en minutes n'a pas assez de structure à diviser, et « More agents mostly buys you the cost of explaining it twice. » Règle qui en découle : ne pas monter d'équipe pour du travail court et bien spécifié. Contrepoids empirique au billet de lancement [[longwell-block-buzz-workspace-agents-nostr-2026-07-21]]. ### L'horizon retourne le résultat Long-Horizon Terminal-Bench, 44 tâches, chef GPT-5.6 Sol en effort high pour tous les rosters : | Roster | Tâches finies /44 | Score | |---|---|---| | SmartBee solo | 15 | 59,1 % | | + 2 QuickBees | 19 | 64,1 % | | + 1 QuickBee + 1 WorkerBee | 19 | 69,5 % | | + 2 WorkerBees | 20 | 71,5 % | +12,4 points, dont 11,4 sont des complétions supplémentaires : l'équipe ne fait pas mieux, elle va au bout. Trois précautions : runs à 3× le timeout (solo inclus), coût des équipes non publié, n=1 par tâche. Critère de décision proposé par le billet : l'équipe vaut son surcoût « when the alternative is a human picking up unfinished work ». ### Le plafond de rendement du prix En solo sur Terminal-Bench 2.1, Opus 5 en effort xhigh = 140,63 $ pour 75,0 %, soit le run le plus cher, devancé par six runs entre 20,08 $ et 109,82 $ (79,5 % à 88,4 %). Cause déclarée : sur-raisonnement, avec 17 des 88 tâches au timeout. C'est d'abord un artefact de mur d'horloge — une propriété du couple modèle × harnais × timeout, non une mesure de capacité brute. Ce qui reste actionnable : « Paying more stops helping, then starts hurting », et un SmartBee en effort medium suffit pour la plupart des tâches. Parmi les six meilleurs runs : 5,5× d'écart de prix pour 8,9 points d'écart de score, que le billet traite comme un ex æquo à cette taille d'échantillon. « Everything from Terra at medium effort upward is the same agent as far as these tasks can tell. Which is good news, because it means choosing between them is not a quality decision at all. It is a budget decision. » Portée limitée à ce benchmark, ces prix et ce harnais. ### Effort de raisonnement : l'arbitrage s'inverse selon le tier Sur un modèle bon marché, monter l'effort est le meilleur achat : Luna medium = 1,61 $ / 57,3 % → Luna high = 4,98 $ / 75,0 %. Sur un modèle frontier, monter l'effort coûte et dégrade. | Tier | Effort recommandé | Travail | Exemples cités | |---|---|---|---| | QuickBee | max / xhigh / high | builds, captures d'écran, suite de tests, tri de première passe | GPT-5.6 Luna, DeepSeek V4 Flash, modèles locaux | | WorkerBee | high / xhigh | un sous-ensemble complet de bout en bout, sans surveillance | GPT-5.6 Terra, Gemini 3.6 Flash, modèles ouverts | | SmartBee | medium | vue d'ensemble, arbitrages, absorption des escalades | Claude Opus 5, Kimi K3, GPT-5.6 Sol | | Humain | — | « The most expensive bee on the team, and the slowest. Also still the smartest. » | — | Le point d'inversion dépend des timeouts locaux : à retester avant de généraliser. ### Hive ou Swarm : que doit mémoriser l'équipe ?
3. Hive. — équipe permanente d'agents nommés, chacun avec un rôle et une mémoire de vos préférences. Argument cumulatif : « The second time it reviews your peer's code it knows which nits you wave off. The tenth time, briefing it is faster than briefing a person. »
4. Swarm. — équipe jetable pour un projet à début et fin (migration, montée de framework, gros refactor), qui accumule une mémoire du projet puis est supprimée. Critère de choix : le sujet à mémoriser est-il vous, ou le projet ? Prérequis assumé : l'agent est un siège, pas une session — nom, persona, mémoire, présence propre dans le canal. ### Topologie d'escalade Diagnostic : « The failure mode of agent tooling is not that the work is bad, it is that every ambiguity becomes a notification. » Le SmartBee coordinateur absorbe l'ordinaire (test instable, import ambigu, config déplacée) et écrit les réponses humaines en mémoire, de sorte que le Swarm devient moins cher à superviser avec le temps. « The human stops being middleware and goes back to being the last reviewer. » Question de qualification à poser à tout outil multi-agents : où remontent les escalades, et l'outil apprend-il des réponses ? ### Témoignage de migration Leigh Maddock, Engineer @ Block : « I migrated over 2000 apps/projects using Buzz and a Swarm of agents », avec 1 coordinateur, 1 à 10 migrateurs parallèles et 1 vérificateur indépendant, le coordinateur traitant la majorité des escalades. Témoignage et non mesure : ni durée, ni coût, ni taux d'échec, ni définition de « migré ». Le motif reste transposable — même patron que les minions one-shot décrits dans [[gray-stripe-minions-coding-agents-part1-2026-02-09]], avec en plus le vérificateur indépendant et la mémoire d'escalade. ### Compositions prêtes à l'emploi | Cas | Composition | |---|---| | Revue de PR | SmartBee qui relit la PR + QuickBee qui build en local et produit les captures | | Triage de test instable | QuickBee qui relance les tests et collecte les preuves + SmartBee qui tranche | | Travail court | un seul agent, éventuellement un QuickBee sur des tâches connexes mais différentes | Dénominateur commun : le tier cher lit et décide, le tier bon marché exécute et rassemble les preuves. ### Position commerciale Buzz accepte les abonnements Claude Code et Codex, des modèles ouverts et des modèles locaux : « You are not locked into one provider or forced to give every job to the most expensive model out of laziness. » La composition type proposée est explicitement tri-fournisseurs. La thèse « le meilleur modèle n'est pas toujours le bon » est vraie et commercialement utile à qui vend la pièce plutôt que le modèle. Voir aussi [[paymentsdive-block-dorsey-pricing-ia-2026-08-06]]. ### Conditions expérimentales, à recopier si l'exercice est rejoué Harbor ; agents Buzz réels sur relais live (« None of the results below were measured on a stripped-down test rig ») ; une tentative par tâche, sans retry, avec timeouts ; LHTB à 3× le timeout, solo compris ; prix au 2026-07-30 ; Kimi K3 et DeepSeek V4 Flash ne supportent pas l'effort medium. Aucun intervalle de confiance, n=1 — le billet reconnaît lui-même l'ex æquo entre six runs comme un effet de taille d'échantillon. Traiter ces chiffres comme des ordres de grandeur.