Voxtral 3

La trascrizione vocale e la generazione della voce hanno fatto grandi progressi, ma creare agenti vocali end-to-end in grado di ascoltare, ragionare, interagire e gestire flussi di lavoro complessi resta difficile. 

Un agente vocale affidabile deve svolgere molto bene quattro attività, e farlo contemporaneamente: 

1. Ascoltare con precisione in presenza di lingue, accenti, interlocutori e interruzioni diversi,

2. Ragionare in profondità su ciò che gli utenti intendono in contesti specifici,

3. Parlare in modo naturale con emozione ed espressività, e 

4. Agire in più passaggi attraverso sistemi connessi. 

Far funzionare tutte e quattro queste attività insieme, in modo affidabile e in tempo reale, resta una sfida. 

Per affrontarla, presentiamo Voxtral 3: una nuova famiglia di modelli all'avanguardia per la trascrizione vocale e la sintesi vocale, insieme a un SDK per agenti vocali che riunisce ascolto, ragionamento, chiamate agli strumenti e produzione vocale in un'unica pipeline di streaming in tempo reale.

Voxtral 3 è progettato per creare esperienze di conversazione naturali, dagli agenti dei contact center e dei service desk agli assistenti virtuali e ai copiloti a mani libere. Grazie al supporto per decine di lingue, alla produzione vocale espressiva, al ragionamento complesso e alla profonda integrazione con strumenti e dati aziendali, gli agenti creati con Voxtral possono cogliere le sfumature delle intenzioni, ragionare su richieste articolate ed eseguire azioni in più passaggi attraverso sistemi connessi.

Come gli altri modelli Mistral, la famiglia Voxtral 3 è progettata per un deployment sovrano. Disponibile da oggi tramite l'API di Mistral ospitata nell'UE o per il deployment sulla propria infrastruttura, offre alle organizzazioni il controllo su dove viene elaborato l'audio, su come vengono gestiti i dati e sulla conservazione delle conversazioni.

Punti salienti

1. Trascrizione accurata in oltre 50 lingue. Il modello di trascrizione vocale, Voxtral Small Transcribe 3, offre prestazioni all'avanguardia nella trascrizione multilingue, identificando chi ha detto cosa (diarizzazione) e utilizzando espressioni chiave per migliorare l'accuratezza (ponderazione contestuale). Rileva quando una persona ha finito di parlare, consentendo agli agenti di rispondere senza ritardi (rilevamento della fine del turno).

2. Una voce naturale che si adatta alla conversazione. Il modello di sintesi vocale, Voxtral Mini TTS 3, introduce nuove voci che adattano emozione, ritmo ed enfasi al contesto della conversazione, con supporto per oltre 35 lingue e oltre 50 dialetti.

3. Un'intelligenza simile a quella umana, ai Suoi comandi vocali. Il nuovo SDK per agenti vocali combina ascolto, ragionamento, chiamata di strumenti e generazione vocale in un'esperienza in tempo reale. Gli agenti possono recuperare informazioni, interagire con i sistemi aziendali e completare attività durante conversazioni in diretta, al telefono o sul web.

4. Pro Voice per un adattamento vocale di particolare precisione. Per i casi d'uso professionali in cui la clonazione vocale di base non è sufficiente, l'adattamento Pro Voice di Voxtral è in grado di riprodurre il carattere distintivo, la gamma emotiva e lo stile espressivo di una persona in diverse lingue, utilizzando appena 30 minuti di audio. 

5. La Sua IA vocale, sulla Sua infrastruttura. Utilizzi l'API di Mistral ospitata nell'UE oppure implementi Voxtral 3 sulla Sua infrastruttura. Mantenga le conversazioni sensibili all'interno del Suo ambiente e controlli se conservare o meno l'audio. 

Provi Voxtral ora  | Ulteriori informazioni

Ascolta oltre 50 lingue, con un'accuratezza all'avanguardia.

Voxtral Transcribe 3 rappresenta un traguardo significativo nelle funzionalità di trascrizione, diarizzazione (chi ha parlato e quando) e ponderazione contestuale. L'elenco delle lingue supportate si amplia a 50, incluse 24 lingue ufficiali dell'UE e numerose lingue asiatiche e indoarie con risorse limitate.

La versione Small raggiunge risultati all'avanguardia nella diarizzazione e nella trascrizione multilingue, anche in English, French e spagnolo. Supera Whisper, Scribe v2 e Gemini 3.5 Transcribe. La variante Mini ha 4 miliardi di parametri e consente trascrizioni rapide e accurate al prezzo di 0,0035 $/min.

Entrambi i modelli supportano la ponderazione contestuale: è possibile fornire termini chiave e testo libero per orientare la trascrizione e migliorare il richiamo dei termini tecnici. Questo ne consente l'utilizzo in ambienti di produzione con vocabolari specifici del settore, senza necessità di fine-tuning.

Voxtral Realtime Transcribe 3 è un modello di trascrizione in tempo reale progettato per casi d'uso basati su agenti. Offre trascrizioni di alta qualità con una latenza inferiore a 500 ms in oltre 35 lingue, anche con diarizzazione e ponderazione contestuale.

La previsione della fine del turno è supportata nativamente e integra informazioni sia acustiche sia semantiche per prevedere con precisione quando l'utente ha finito di parlare. Questo consente di realizzare applicazioni con agenti vocali a bassa latenza, riducendo al minimo le interruzioni premature dell'utente.

Risponde con l'emozione giusta, usando la voce del Suo brand o di quello dei Suoi clienti e il dialetto locale.

Voxtral Mini TTS 3.0, disponibile in batch e in tempo reale, offre espressività e aderenza alle istruzioni all'avanguardia in oltre 35 lingue e oltre 50 dialetti. A 13 $ per milione di caratteri, Voxtral Speech 3 ha costi di utilizzo inferiori a quelli di modelli comparabili come OpenAI TTS-1, Deepgram, ElevenLabs Flash e Gemini Flash.

Il modello vocale interpreta implicitamente meglio il significato semantico del contesto, producendo una voce naturale in un'ampia gamma di emozioni e lingue. Le funzionalità nuove e migliorate includono la clonazione vocale a partire da oltre 30 minuti di audio campionato, l'aderenza a istruzioni personalizzate nel prompt (IF), il TTS contestuale e una libreria di vocaboli: tutte contribuiscono all'affidabilità della voce in fase di implementazione. Le variabili per l'IF esplicito includono emozione, ritmo ed enfasi.

La naturalezza della voce si basa sull'emozione, che ne determina prosodia, ritmo, velocità, enfasi e transizioni. Voxtral TTS interpreta nativamente il contesto testuale di un prompt per determinare l'emozione e lo stile vocale, rendendo il modello intrinsecamente più efficace nel produrre una voce naturale, senza richiedere istruzioni aggiuntive o prompt vocali.

Una dimostrazione dei progressi di Voxtral nell'espressività e nella pronuncia di numeri e nomi particolari.

Una voce autenticamente locale in 35 lingue e oltre 50 dialetti.

Voxtral TTS supporta oltre 35 lingue e dialetti regionali. Le nostre valutazioni multilingue rispettano le differenze dialettali nella pronuncia, nel registro formale e informale, nell'ortografia, nella verbosità e nelle convenzioni locali (orari, date, temperature, indirizzi, valute).

Le voci preimpostate sono disponibili in 18 lingue: arabo (emiratino, standard moderno), portoghese brasiliano, catalano, cinese (mandarino), olandese, English (americano, britannico), French (Francia), tedesco, greco, hindi, italiano, coreano, norvegese, russo, spagnolo (Spagna) e vietnamita.

L'agente vocale gestisce l'intera conversazione.

Voxtral 3 introduce un SDK per agenti vocali, basato su LiveKit, che esegue l'elaborazione della voce in ingresso, il ragionamento e la generazione della voce in uscita in un'unica pipeline in streaming. Voxtral Mini Transcribe Realtime 3 ascolta e rileva quando la persona che chiama ha finito di parlare, un modello generalista — come Mistral Small — ragiona e chiama gli strumenti, e Voxtral Speech 3 risponde con il tono della conversazione fino a quel momento. Nessuna fase attende il completamento della precedente: ogni turno si conclude in meno di un secondo e l'agente smette di parlare quando la persona interviene.

Durante una chiamata, l'agente può verificare l'identità della persona che chiama, controllare una fattura o prenotare un appuntamento, utilizzando function calling, ricerca web e recupero delle informazioni dai Suoi sistemi. Risponde ed effettua chiamate tramite SIP, funziona nei browser e nelle app tramite WebRTC e si collega ai software di telefonia, IVR e contact center che utilizza già.

Ogni fase è gestita da un modello separato: può quindi cambiare l'LLM, la voce o la lingua senza riscrivere l'agente ed eseguire l'intero stack tramite l'API di Mistral in Europe o sulla Sua infrastruttura.

Inizia.

Voxtral 3 è disponibile da oggi tramite l'API di Mistral, ospitata sui nostri endpoint europei, statunitensi e globali.

È possibile provare gli agenti vocali, la trascrizione audio, la generazione vocale e la clonazione vocale negli ambienti di Studio.

Provi Voxtral adesso | Ulteriori informazioni

Per eseguire l'intero stack on-premises o in un cloud privato, parli con il nostro team.