Webb Wright rapporte dans ZDNet une recherche de Microsoft révélant des failles critiques des agents IA en contexte de marketplace autonome ; seul Claude Sonnet 4 d'Anthropic résiste totalement aux tentatives de manipulation.
Magentic Marketplace : une simulation réaliste
Microsoft a créé un environnement open-source (disponible sur GitHub) où des agents IA conversent pour conclure des transactions simulant un marketplace réel. Le contexte : les éditeurs livrent rapidement des produits autonomes (OpenAI Operator navigue sur des sites et achète pour les utilisateurs, Meta Business AI interagit avec les clients comme un vendeur automatisé). Microsoft teste les capacités pratiques au moment où "agents become active market participants, but structure of these markets remains uncertain."
Les expériences utilisent des modèles propriétaires de pointe (GPT-5, Gemini 2.5 Flash) et open-source (OSS-20b), simulant 100 clients et 300 commerces interagissant via des prompts texte supervisés. Les agents clients doivent trouver le vendeur offrant tout au meilleur prix. La métrique "consumer welfare" correspond aux valorisations internes moins le prix final, agrégées.
Promesses et failles
Les agents montrent un potentiel pour surmonter les "information gaps" humains (raccourcis mentaux : choix aléatoire, option la moins chère). "As agents gain better tools for discovery and communication, they relieve customers of heavy cognitive load... This lowers cost of making informed decisions and improves customer outcomes."
Mais des failles critiques émergent :
Paradoxe du choix : malgré de multiples options, la plupart des agents (sauf GPT-5/Gemini 2.5 Flash) n'interagissent qu'avec un petit nombre de vendeurs. "Most models do not conduct exhaustive comparisons and instead easily accept initial 'good enough' options." Le consumer welfare décroît quand les options augmentent — à l'opposé de la logique économique classique.
Manipulation facile : six stratégies testées (affirmations douteuses comme "#1-rated Mexican restaurant", injections de prompt explicites, informations trompeuses). Grande variation des réponses entre modèles. Claude Sonnet 4 est le seul à montrer une résistance totale à toutes les tentatives.
Biais systémiques : le modèle open-source Qwen2.5-14b-2507 choisit systématiquement le dernier commerce de la liste initiale. Le "proposal bias" est généralisé : les modèles choisissent le premier vendeur qui répond avec une offre, privilégiant la vitesse sur l'exhaustivité. "These biases can create unfair market dynamics, drive unintended behaviors, and push businesses to compete on response speed rather than product or service quality."
Implications économiques et convergence des études
Wright souligne les risques d'une économie pilotée par les agents : les marchés financiers sont déjà gouvernés par des algorithmes insondables qui suivent les prix des matières premières. "How much more opaque will system become when AI isn't just tracking prices but actually overseeing majority of everyday transactions?" Comment les biais cachés des données d'entraînement se manifesteront-ils quand des légions d'agents acheteurs et vendeurs IA seront déployées ?
Les recherches récentes convergent : les agents restent loin d'un travail freelance de qualité, et Claude d'Anthropic a peiné à gérer un petit commerce pendant un mois. Toutes pointent la même conclusion : malgré l'énorme battage médiatique, il reste du chemin avant un fonctionnement autonome fiable.
Conclusion explicite de Microsoft : "Agents should assist, not replace, human decision-making."
La recherche fournit un plan d'action aux entreprises d'IA pour corriger ces failles, car les agents ont échoué de manière cohérente — et donc prévisible.