Mistral vydal Voxtral 3: hlasové agenty lze provozovat v EU i na vlastních serverech

Mistral AI vydal Voxtral 3, sadu modelů pro speech-to-text (převod řeči na text), text-to-speech (syntézu řeči) a SDK pro hlasové agenty. Celý stack jde podle oznámení Mistralu provozovat přes evropské API, nebo na vlastní infrastruktuře. Pro firmy, které nechtějí posílat nahrávky hovorů do amerického cloudu, je to zatím nejucelenější evropská nabídka.

Co přesně vyšlo

Rodinu tvoří pět modelů, jak ukazuje přehled v dokumentaci Mistralu. Voxtral Small Transcribe 3 a Voxtral Mini Transcribe 3 přepisují nahrávky včetně diarizace (rozlišení mluvčích). Voxtral Mini Transcribe Realtime 3 přepisuje živě a sám pozná, kdy člověk domluvil. Dva TTS modely generují řeč dávkově, nebo ve streamu. Velikost Mistral uvádí jen u Mini Transcribe 3, a to 4 miliardy parametrů.

Nad modely stojí voice agent SDK postavené na LiveKitu. Spojuje živý přepis, jazykový model (například Mistral Small 4) a syntézu řeči do jedné streamovací pipeline, zvládá telefonii přes SIP, prohlížeč přes WebRTC i volání nástrojů. Podle dokumentace voice agentů jde agenta přerušit uprostřed věty.

Realtime přepis má podle model card nastavitelné zpoždění od 80 ms až po 2,4 s, TTS podle vlastní karty začne mluvit zhruba za 90 ms. Celé kolo konverzace má podle Mistralu trvat pod sekundu, metodiku měření ale firma nezveřejnila.

Ceny a benchmarky

Ceny z oznámení: přepis stojí 0,0035 USD za minutu (Mini), respektive 0,004 USD (Small), živý přepis 0,008 USD, syntéza 13 USD za milion znaků. Hotový agent vyjde na 0,04 USD za minutu s Mistral Small 4, s jiným reasoning modelem na 0,08 USD.

Benchmarky jsou vlastní srovnání Mistralu. Na sadě FLEURS se 45 jazyky má Small Transcribe 3 chybovost (WER) 4,1 %, stejně jako Microsoft AI Transcribe 2 a před Scribe v2 od ElevenLabs (4,9 %) či GPT Transcribe (6,3 %). Datasety pro přepis jsou veřejné, grafy pro TTS ale Mistral sám označuje jako interní evaluace hodnocené jazykovým modelem. Nezávislé ověření zatím chybí.

Čeština a otevřené váhy

Pro přepis Mistral slibuje přes 50 jazyků včetně všech 24 úředních jazyků EU a čeština figuruje v benchmarkových sadách pro dávkový i živý přepis. U syntézy řeči je situace horší: stránka jazyků uvádí 35 jazyků, výčet v oznámení ale češtinu neobsahuje a karta TTS modelu hovoří o devíti. Český hlasový agent tak zatím potřebuje Voxtral pro přepis a jiného dodavatele pro hlas.

Zásadní změna oproti březnovému Voxtral TTS: ten vyšel s vahami na Hugging Face, byť pod nekomerční licencí CC BY-NC 4.0. U Voxtral 3 ke dni vydání váhy ani licence zveřejněné nejsou. Provoz on-premises nebo v privátním cloudu je podle Mistralu dostupný „po domluvě s naším týmem“. Self-hosting je tedy enterprise produkt, ne model ke stažení.

Proč na tom záleží

Call centra, service desky a pojišťovny zpracovávají hovory plné osobních údajů. Mistral nabízí evropský endpoint a slibuje, že firma sama rozhodne, zda se audio vůbec ukládá. Kaskádová architektura navíc dovoluje vyměnit jazykový model nebo hlas bez přestavby celého systému.

Konkurence je blízko. ElevenLabs představil dva speech-to-speech modely Eleven Realtime: v1 Max s odezvou 0,57 s a 98,8 % na Big Bench Audio a levnější v1 Mini, jak shrnuje The Decoder s odkazem na oznámení firmy. Jeden model místo kaskády slibuje přirozenější konverzaci, Mistral naopak sází na modularitu a kontrolu nad daty.