Aller au contenu

root / tags / terminal-bench

#Terminal Bench

4 fiches

Outils & Plateformes

Kimi K3 de Moonshot AI : quand le frontier open-weights rattrape le propriétaire

Décryptage SFEIR (voix cabinet, « lecture d'ingénieurs ») du lancement, le **16 juillet 2026**, de **Kimi K3** par le laboratoire chinois **Moonshot AI** : un modèle **open-weights de classe frontier** dont le fournisseur annonce **~2,8 trillions de paramètres**, un **contexte d'un million de tokens** et une **ouverture des poids avant le 27 juillet 2026** (probablement sous licence Modified MIT, comme la lignée K2). Thèse : la capacité qu'on croyait réservée aux géants propriétaires (Anthropic, OpenAI, Google) devient disponible **en poids ouverts, à prix cassé, chez un labo chinois**. SFEIR — pourtant **partenaire Anthropic et Google Cloud**, et donc « sans intérêt à survendre un modèle chinois » — assume une **mise en garde méthodologique** cardinale : au jour du lancement, **aucune table de benchmarks officielle et complète** n'existe ; specs (2,8 T, Kimi Delta Attention, +25 % d'efficacité d'entraînement) et scores sont **vendor-stated** ou issus d'**arènes communautaires**, « à traiter comme des revendications, pas comme des faits mesurés ». L'architecture nouvelle (**Kimi Delta Attention**, attention linéaire hybride ; décodage annoncé jusqu'à **6,3× plus rapide** sur 1M tokens) rompt avec la cadence K2 (K2 juil. 2025 → K2.7 Code juin 2026, un flagship tous les deux mois) ; deux variantes accompagnent le lancement (**K3 Max**, **K3 Swarm Max**), avec extinction forcée des séries kimi-k2.5/moonshot-v1 au **31 août 2026**. **La vraie arme, c'est le prix** (~3 $/M en entrée, 0,30 $ en cache, 15 $ en sortie selon sources secondaires) : un frontier open-weights à ce niveau **tire toute la courbe prix-performance vers le bas** — la banalisation de la couche modèle, accélérée par l'open-source. Mais la singularité décisive n'est pas un score : c'est la **réversibilité**. Un frontier open-weights transforme une API consommée (dépendance au fournisseur) en **option** (self-host, portage, sortie de captivité), au prix d'une infra lourde pour héberger 2,8 T de paramètres. Point de vue SFEIR : **l'open-weights change la question, pas seulement la réponse** — non plus « quel est le meilleur/le moins cher modèle ? » mais « quelle part de mon système suis-je prêt à rendre dépendante d'un fournisseur que je ne contrôle pas ? ». La bonne posture reste un **portefeuille routé** (un modèle par tâche, un modèle par contrainte), Kimi K3 ajoutant une **colonne « réversibilité »** à la grille de décision. Conviction « AI Only » inchangée : le modèle est une commodité, l'avantage durable est dans l'ingénierie qui l'entoure (Context Engineering, harnais, gouvernance des coûts, capacité à changer d'avis). Reste à valider les chiffres « sur le vôtre » — vos dépôts, vos données.

#Kimi K3#Moonshot AI#Yang Zhilin

SFEIR (voix éditoriale du cabinet)

Économie & Marché

The state of open source AI (v1.0.1, juillet 2026)

**Rapport récurrent de Mozilla**, *The state of open source AI*, **v1.0.1, juillet 2026**, introduit par une lettre de **Raffi Krikorian** (CTO) : sept sections, un site interactif et un rapport téléchargeable. Thèse posée en titre de la section 1 : *« The model layer has commoditized. Value accrues to the harness above it. »* **État capacitaire** : sur l'*Artificial Analysis Intelligence Index v4.1*, le meilleur modèle fermé marque **61** (Claude Opus 5) et le meilleur ouvert **57** (**Kimi K3**), quatrième au général et devant trois des plus grands laboratoires fermés ; sur l'*Epoch Capabilities Index*, l'écart est de **6 points** (K3 à 156 contre GPT-5.6 Sol à 162), soit *« about one release cycle »*, avec des intervalles de confiance qui se chevauchent. **Frontière en dents de scie** : l'ouvert mène en code frontend (K3 à 1 679 Elo sur LMArena Frontend Code Arena, six domaines sur sept), conteste le terrain agentique (88,3 contre 88,8 sur Terminal-Bench 2.1) et cède sur le travail de connaissance professionnel (Fable 5 devance K3 de 92 Elo sur GDPval-AA v2). **Bascule d'usage** : la part des tokens routés sur OpenRouter vers des modèles à poids ouverts est passée d'un niveau négligeable à un tiers fin 2025, puis à une **majorité mi-2026**, les sept modèles les plus consommateurs étant tous à poids ouverts — le rapport précisant lui-même que *« by request count, closed US providers still lead »*, l'avance ouverte étant un volume de tokens concentré sur le codage et l'agentique. **Le contraste central** : *« Open ships easy. Open deploys hard. »* — 79 % des développeurs qui ajoutent de l'IA utilisent des modèles ouverts contre 71 % pour les fermés, mais seules **53 %** des équipes en modèle ouvert atteignent la production **contre 63 %**, et l'écart se creuse avec la taille de l'organisation (fermé 54 % → 73 %, ouvert 53 % → 57 %), ce qui *« rules out a resources explanation »*. La carte de maturité du stack (48 composants, 9 couches) montre deux colonnes systématiquement froides — **standardisation** et ***enterprise readiness*** —, désignées comme l'écart opérationnel. **Section 5** : *« The agentic harness is another user agent »*, et *« The model is eating the harness »* — sur chaque modèle où les deux existent, le harnais du laboratoire l'emporte désormais, l'écart de 21,8 points s'étant comprimé à environ 3. D'où la formule : *« A harness tuned tightly to one lab's weights… degrades on anyone else's model, so the tighter the tuning, the less swappable the weights underneath. Lock-in arrives as a side effect of optimization. »*

#Mozilla#état de l'IA open source#poids ouverts

**Mozilla** — éditeur du rapport · avec une introduction signée **Raffi Krikorian** · *Chief Technology Officer*. Publié en **juillet 2026** (v1.0.1). Données issues de sources tierces créditées (Artificial Analysis, Epoch AI, OpenRouter, LMArena) et d'une enquête propre menée avec **SlashData** (*Mozilla / SlashData 2026 developer survey*, n = 1 410 sur la question des freins).

Agents de codage IA & Skills

Agent Harness Engineering

Synthèse par Addy Osmani (Google, Chrome/Cloud) du champ émergent du *harness engineering* : équation `agent = model + harness`, principe du *ratchet* ("chaque erreur devient une règle"), reframe HumanLayer "skill issue", preuves Terminal Bench (Top 30 → Top 5 par seul changement de harnais), architecture Claude Code en couches, vision Anthropic "harnesses don't shrink, they move" et Harness-as-a-Service (Claude Agent SDK, Codex SDK, OpenAI Agents SDK). Article-pivot qui consolide Trivedy, HumanLayer, Anthropic et Böckeler en doctrine.

#harness engineering#agent harness#Addy Osmani

Addy Osmani (Software Engineer at Google, Cloud + Gemini)