Voxtral 3

La transcription et la génération vocales ont beaucoup progressé, mais créer des agents vocaux de bout en bout capables d'écouter, de raisonner, d'interagir et de gérer des workflows complexes reste difficile. 

Un agent vocal fiable doit maîtriser quatre capacités, et les mettre en œuvre simultanément : 

1. Écouter avec précision quels que soient la langue, l'accent, les interlocuteurs et les interruptions,

2. Raisonner en profondeur sur ce que les utilisateurs veulent dire dans un contexte donné,

3. Parler naturellement avec émotion et expressivité, et 

4. Agir en plusieurs étapes dans des systèmes connectés. 

Faire fonctionner ces quatre capacités ensemble, de manière fiable et en temps réel, reste un défi. 

Pour y répondre, nous présentons Voxtral 3 : une nouvelle famille de modèles de pointe de Reconnaissance vocale et de Synthèse vocale, accompagnée d'un SDK d'agents vocaux qui réunit l'écoute, la réflexion, l'appel d'outils et la parole dans un seul pipeline de streaming en temps réel.

Voxtral 3 est conçu pour créer des expériences conversationnelles naturelles, des agents de centres de contact et d'assistance aux assistants virtuels et aux copilotes mains libres. Grâce à la prise en charge de dizaines de langues, à une parole expressive, à un raisonnement complexe et à une intégration poussée avec vos outils et vos données, les agents créés avec Voxtral peuvent interpréter des intentions nuancées, traiter des demandes élaborées et exécuter des actions multi-étapes dans des systèmes connectés.

Comme les autres modèles Mistral, la famille Voxtral 3 est conçue pour un déploiement souverain. Disponible dès aujourd'hui via l'API de Mistral hébergée dans l'UE ou pour un déploiement sur votre propre infrastructure, elle permet aux organisations de contrôler où l'audio est traité, comment les données sont gérées et si les conversations sont conservées.

Points forts

1. Une transcription précise dans plus de 50 langues. Le modèle de reconnaissance vocale, Voxtral Small Transcribe 3, représente l'état de l'art de la transcription multilingue : il identifie qui a dit quoi (diarisation), utilise des mots-clés pour améliorer sa précision (biais contextuels). Il détecte quand une personne a terminé de parler, ce qui permet aux agents de répondre sans délai (détection de fin de tour).

2. Une voix naturelle qui s'adapte à la conversation. Le modèle de synthèse vocale, Voxtral Mini TTS 3, introduit de nouvelles voix qui ajustent leur émotion, leur débit et leur accentuation en fonction du contexte de la conversation, avec une prise en charge de plus de 35 langues et de plus de 50 dialectes.

3. Une intelligence quasi humaine à vos ordres, au son de votre voix. Le nouveau SDK d'agent vocal combine l'écoute, le raisonnement, l'appel d'outils et la parole en une expérience en temps réel. Les agents peuvent récupérer des informations, interagir avec des systèmes métier et accomplir des tâches au cours de conversations en direct, par téléphone ou sur le web.

4. Pro Voice pour une adaptation vocale distinctive et précise. Pour les cas d'utilisation professionnels où le clonage de la voix de base ne suffit pas, l'adaptation Pro Voice de Voxtral reproduit le caractère distinctif d'un locuteur, sa gamme émotionnelle et son style de parole dans toutes les langues, à partir de seulement 30 minutes d'audio.

5. Votre IA vocale, sur votre infrastructure. Utilisez l'API de Mistral hébergée dans l'UE ou déployez Voxtral 3 sur votre propre infrastructure. Gardez les conversations sensibles dans votre environnement et décidez de la conservation ou non de l'audio.

Essayez Voxtral dès maintenant | En savoir plus

Il entend plus de 50 langues, avec une précision à l'état de l'art.

Voxtral Transcribe 3 constitue une étape majeure en matière de transcription, de diarisation (qui a parlé et quand) et de biais contextuels. La liste des langues prises en charge passe à 50, dont 24 langues officielles de l'UE et de nombreuses langues asiatiques et indiennes à faibles ressources.

La version Small obtient des résultats à l'état de l'art en diarisation et en transcription multilingue, y compris en anglais, en français et en espagnol. Elle surpasse Whisper, Scribe v2 et Gemini 3.5 Transcribe. La variante Mini compte 4 milliards de paramètres et permet des transcriptions rapides et précises au tarif de 0,0035 $/min.

Les deux modèles prennent en charge les biais contextuels : des termes clés et du texte libre peuvent être fournis pour orienter la transcription et améliorer le rappel des termes techniques. Ils peuvent ainsi être utilisés en production avec un vocabulaire spécifique à un domaine, sans avoir recours au fine-tuning.

Voxtral Realtime Transcribe 3 est un modèle de transcription en temps réel conçu pour les cas d'utilisation agentiques. Il produit des transcriptions de haute qualité avec une latence inférieure à 500 ms dans plus de 35 langues, y compris avec diarisation et biais contextuels.

La prédiction de fin de tour est prise en charge nativement : elle combine des informations acoustiques et sémantiques pour prédire avec précision quand un utilisateur a terminé de parler. Cela permet de créer des applications d'agents vocaux à faible latence, tout en réduisant les coupures erronées lorsque l'utilisateur est interrompu prématurément.

Il répond avec l'émotion juste, dans la voix propre de votre marque ou de celle de vos clients, et dans leur dialecte local.

Voxtral Mini TTS 3.0, disponible en batch et en temps réel, atteint l'état de l'art en matière d'expressivité et de suivi des instructions pour plus de 35 langues et plus de 50 dialectes. À 13 $ par million de caractères, Voxtral Speech 3 coûte moins cher à l'exécution que les modèles comparables d'OpenAI TTS-1, Deepgram, ElevenLabs Flash et Gemini Flash.

Le modèle de parole interprète mieux, de manière implicite, le sens sémantique du contexte et produit une parole naturelle sur un large éventail d'émotions et de langues. Les fonctionnalités nouvelles et améliorées comprennent le clonage de la voix à partir de 30 minutes ou plus d'audio échantillonné, le suivi d'instructions par prompts personnalisés (IF), la TTS contextuelle et une bibliothèque de vocabulaire — autant de fonctions au service de la fiabilité de la parole en production. Les variables du suivi d'instructions explicites incluent l'émotion, le débit et l'accentuation.

Toute parole qui sonne naturellement repose sur l'émotion, qui détermine sa prosodie, son rythme, son débit, son accentuation et ses transitions. Voxtral TTS interprète nativement le contexte textuel d'un prompt pour déterminer l'émotion et le style vocal, ce qui rend le modèle intrinsèquement meilleur pour produire une parole naturelle, sans nécessiter d'instructions ni de prompts vocaux supplémentaires.

Illustration de la progression pas à pas de Voxtral en expressivité, sur les nombres comme sur les noms uniques.

La parole sonne comme celle d'un locuteur natif dans 35 langues et plus de 50 dialectes.

Voxtral TTS prend en charge plus de 35 langues et des dialectes régionaux. Nos évaluations multilingues tiennent compte des différences dialectales en matière de prononciation, de registre formel ou informel, d'orthographe, de verbosité et de conventions locales (heure, dates, températures, adresses, monnaies).

Les préréglages vocaux sont disponibles en 18 langues : arabe (émirati, standard moderne), portugais (brésilien), catalan, chinois (mandarin), néerlandais, anglais (américain, britannique), français (France), allemand, grec, hindi, italien, coréen, norvégien, russe, espagnol (Espagne) et vietnamien.

L'agent vocal garde le contrôle de l'ensemble de la conversation.

Voxtral 3 introduit un SDK d'agent vocal, construit sur LiveKit, qui exécute l'entrée vocale, le raisonnement et la sortie vocale au sein d'un pipeline de streaming unique. Voxtral Mini Transcribe Realtime 3 écoute et détecte quand l'appelant a fini de parler, un modèle généraliste — comme Mistral Small — raisonne et appelle des outils, et Voxtral Speech 3 répond sur le ton de la conversation en cours. Aucune étape n'attend la précédente : chaque tour se termine donc en moins d'une seconde, et l'agent cesse de parler dès que l'appelant l'interrompt.

Pendant un appel, l'agent peut vérifier l'identité de l'appelant, consulter une facture ou prendre un rendez-vous, en s'appuyant sur le function calling, la recherche sur le Web et la récupération d'informations dans vos propres systèmes. Il répond aux appels et en émet via SIP, s'exécute dans les navigateurs et les applications via WebRTC et se connecte aux logiciels de téléphonie, d'IVR et de centre de contact que vous utilisez déjà.

Chaque étape repose sur un modèle distinct : vous pouvez donc changer de LLM, de voix ou de langue sans réécrire l'agent, et exécuter toute la stack sur l'API Mistral en Europe ou sur votre propre infrastructure.

Démarrer.

Voxtral 3 est disponible dès aujourd'hui via l'API Mistral, hébergée sur nos endpoints européens, américains et mondiaux.

Vous pouvez tester les agents vocaux, la transcription audio, la génération de parole et le clonage de la voix dans les playgrounds de Studio.

Essayer Voxtral dès maintenant | En savoir plus

Pour exécuter la stack complète sur site ou dans un cloud privé, contactez notre équipe.