Olive Song, Senior Researcher chez MiniMax, présente le modèle MiniMax M2, un modèle de langage conçu spécifiquement pour le codage et les tâches agentiques. Avec seulement 10 milliards de paramètres actifs, il se positionne comme une alternative extrêmement performante et économique ("cost-efficient") par rapport aux modèles géants, visant particulièrement les développeurs et les entreprises.
La force du modèle repose sur plusieurs innovations clés dans son entraînement : 1. Expérience de codage réaliste : MiniMax utilise ses propres développeurs experts comme modèles de récompense (Reward Models) pour le Reinforcement Learning, alignant le comportement du modèle sur les attentes réelles des ingénieurs (qualité du code, fiabilité). 2. Interleaved Thinking (Pensée entrelacée) : Pour gérer les tâches à long horizon (Long-horizon tasks), M2 n'utilise pas une simple chaîne de pensée linéaire. Il alterne dynamiquement entre "Penser" et "Agir" (utiliser un outil). Si un outil échoue ou renvoie un résultat inattendu (bruit de l'environnement), le modèle réévalue la situation et tente une autre approche, mimant le comportement humain face à l'incertitude. 3. Généralisation robuste : Pour éviter que l'agent ne soit performant que dans un cadre précis, MiniMax injecte des perturbations constantes dans les données d'entraînement (changement de format de prompt, de réponse d'outil). Cela rend l'agent capable de s'adapter à différents "scaffolds" (environnements d'exécution) sans perdre ses moyens. 4. Scalabilité Multi-agents : La petite taille du modèle permet d'exécuter plusieurs instances en parallèle (ex: un agent chercheur, un agent rédacteur, un agent front-end) pour résoudre des tâches complexes collaborativement à moindre coût.
Olive Song conclut en présentant la roadmap future (M2.5, M3) incluant une meilleure gestion du contexte et de la mémoire, et l'intégration multimodale (audio/vidéo) native.