ElevenLabs Scribe v3 Live poprvé rozliší mluvčí v reálném čase. Přepis živého hovoru dělá o 43 % méně chyb
ElevenLabs vydal dva nové modely pro převod řeči na text. Scribe v3 Live pro živé hovory nově pozná, kdo mluví, a nepřeruší člověka, který se uprostřed věty zamyslí. Scribe v3 pro nahrávky dělá podle firmy o 27 % méně chyb než předchůdce. Čísla zatím nikdo nezávisle neověřil.
Foto: Unsplash / Jumping Jax
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
Tento článek vznikl zpracováním veřejně dostupných zdrojů pomocí AI nástrojů. Každý text se snažím přečíst a věcně zkontrolovat, ale ne vždy to zvládnu. Prosím, berte na to ohled a informace si ověřujte v původních zdrojích (níže).
ElevenLabs 10. listopadu vydal Scribe v3 a Scribe v3 Live, dva nové modely pro převod řeči na text (speech-to-text). Scribe v3 zpracovává hotové nahrávky, Scribe v3 Live přepisuje živé hovory s nízkou latencí. Hlavní novinkou je, že živý model poprvé umí v reálném čase rozlišit, kdo právě mluví.
Co se změnilo
U nahrávek dělá Scribe v3 podle interního testu na benchmarku FLEURS o 27 % méně chyb ve slovech než Scribe v2, a to napříč 102 jazyky. Největší zlepšení firma uvádí u němčiny (o 42 % méně chyb), španělštiny (35 %) a angličtiny (23 %). Při rozlišování mluvčích (diarizaci) je chyb o 12 % méně, u nahrávek se třemi a více lidmi o 17 %.
Scribe v3 Live dělá oproti Scribe v2 Realtime o 31 % méně chyb ve slovech a o 43 % méně chyb, které mění význam. Nejvíc si polepšily jazyky, kde živý přepis dřív zaostával: řečtina o 77 %, dánština o 54 % a chorvatština o 45 %. Diarizace v reálném čase měla na anglických datech chybovost 3,1 %, ostatní testované modely 5,9 až 7,3 %. Češtinu ElevenLabs v přehledu zvlášť neuvádí.
Druhou praktickou novinkou je detekce konce promluvy. Model nepozná, že člověk domluvil, jen podle ticha, ale i podle kontextu hovoru. Volajícího, který se uprostřed diktování čísla zarazí, tak hlasový agent nepřeruší. Přibyl i vícejazyčný režim pro hovory, kde se jazyk střídá uprostřed věty, a knihovna klíčových termínů pro tisíce odborných výrazů nebo názvů produktů.
Pro koho to je
Oba modely jsou dostupné přes ElevenAPI pod ID scribe_v3 a scribe_v3_live. Přechod ze Scribe v2 je podle firmy změna jednoho řádku. Scribe v3 Live je navíc v platformě ElevenAgents pro hlasové agenty a oba modely jsou výchozí v aplikaci ElevenLabs. Ceny ani konkrétní latenci firma v oznámení neuvádí.
Pro evropské firmy je podstatné, že modely kromě výchozího amerického regionu běží i v izolovaném prostředí v EU. K dispozici je také režim bez ukládání dat, který zvuk i text po dokončení požadavku smaže.
Nizozemský dodavatel energie Eneco model otestoval na svém hlasovém agentovi. Poštovní směrovací čísla napoprvé správně rozpoznal o 40 % častěji, čísla domů o 15 % častěji.
Kontext
Všechna čísla pocházejí od ElevenLabs a z jejích vlastních datasetů, nezávislý test zatím chybí. Pro vývojáře hlasových agentů, přepisů porad nebo kontaktních center je ale směr jasný: chyby, kvůli kterým agent volajícího přeruší nebo se musí ptát znovu, jsou přesně to, co uživatele u hlasových rozhraní nejvíc frustruje. Nástroje jako Claude Meetings, o kterém píšeme dnes, stojí na stejném základu: dobrém přepisu toho, kdo co řekl.