Mistral AI dévoile Voxtral, une suite novatrice de modèles open source de compréhension vocale conçue pour révolutionner l'interaction humain-machine par la voix. Considérant la voix comme l'interface originelle de l'humanité, Voxtral vise à dépasser les limites des systèmes actuels, peu fiables ou propriétaires, en offrant des outils vocaux robustes, multilingues et profondément intelligents. Les modèles sont disponibles en deux versions : une variante 24B taillée pour les applications à l'échelle de la production, et une variante plus compacte de 3B, Voxtral Mini, adaptée aux déploiements locaux et en périphérie (edge). Les deux sont publiées sous la licence permissive Apache 2.0 et accessibles via l'API de Mistral AI, avec Voxtral Mini Transcribe, optimisé pour la transcription, offrant une efficacité coût/latence inégalée.
Architecture à deux niveaux et avantage de coût
Voxtral se distingue en comblant le fossé entre les systèmes ASR open source à fort taux d'erreur et les APIs propriétaires coûteuses. Il offre une précision état de l'art et une compréhension sémantique native dans un cadre ouvert, à moins de la moitié du prix des solutions propriétaires comparables. Cette efficacité de coût rend l'intelligence vocale de haute qualité accessible et contrôlable à grande échelle pour un large éventail d'applications.
Capacités avancées au-delà de la transcription
Les modèles offrent plusieurs capacités avancées au-delà de la simple transcription. Ils supportent des contextes audio longs, jusqu'à 30 minutes pour la transcription et 40 minutes pour la compréhension, permettant le traitement complet de conversations ou d'enregistrements étendus. Fonctionnalité marquante : le Q&A et le résumé intégrés, qui permettent d'interroger directement le contenu audio ou de générer des résumés structurés sans chaîner des modèles ASR et de langage séparés. Voxtral est nativement multilingue, avec détection automatique de langue et performances état de l'art sur de nombreuses langues largement utilisées : anglais, espagnol, français, portugais, hindi, allemand, néerlandais, italien. Il permet en outre le function-calling directement depuis la voix, traduisant les intentions orales de l'utilisateur en commandes système actionnables. Les modèles conservent les solides capacités de compréhension textuelle de leur socle, le modèle de langage Mistral Small 3.1.
Benchmarks compétitifs
Les résultats de benchmark soulignent la performance supérieure de Voxtral. Il surpasse globalement Whisper large-v3, le modèle de transcription open source de référence, et dépasse GPT-4o mini Transcribe et Gemini 2.5 Flash sur diverses tâches. Voxtral Small atteint l'état de l'art sur l'anglais court et Mozilla Common Voice, démontrant de fortes capacités multilingues, et égale ElevenLabs Scribe pour les cas d'usage premium à un coût nettement réduit. Voxtral Mini Transcribe surpasse OpenAI Whisper à moins de la moitié du prix.
Roadmap et vision
Mistral AI prévoit d'introduire segmentation des locuteurs, annotations audio (âge, émotion), timestamps au niveau du mot et reconnaissance d'audio non vocal. L'entreprise étoffe son équipe audio et encourage les développeurs à intégrer Voxtral via téléchargement local sur Hugging Face, via l'API, ou en l'essayant dans le mode vocal de Le Chat, avec des fonctionnalités entreprise avancées : déploiement privé, fine-tuning spécifique au domaine et support d'intégration dédié.