Teksto vertimo į kalbą delsa – tai laikas nuo teksto išsiuntimo iki pirmojo garso. Balsiniam agentui ar tiesioginiam titravimui šis tarpas iš esmės ir yra pats produktas. Speechify API siūlo kelis būdus jam sutrumpinti. Šiame įraše aptariami devyni iš jų – nuo modelio pasirinkimo iki ryšio pakartotinio naudojimo.
Išsamius techninius kiekvieno metodo paaiškinimus rasite speechify.ai pakeitimų žurnalo įrašuose. Pradėkite nuo srautinio TTS paaiškinimo: speechify.ai/streaming-tts.
Kaip pasirinkti greičiausią TTS modelį?
Simba 3.2 yra rekomenduojamas modelis anglų kalbai ir sukurtas srautiniam naudojimui, todėl jo laikas iki pirmojo baito yra mažiausias. Daugiakalbiams tekstams Simba 3.0 leidžia pasirinkti kalbą ir taip pat išlieka greitas. Senesni modeliai palaikomi dėl suderinamumo, tačiau jų delsa didesnė.
Modelį rinkitės pagal užduotį. Mažos delsos balsiniam agentui geriausiai tinka Simba 3.2. Garso knygų paketiniam apdorojimui tiks bet kuris modelis, nes realaus laiko atsakas čia nėra būtinas.
Ar geriau transliuoti, užuot laukus viso failo?
Taip, jei naudotojas klausosi realiuoju laiku. Naudokite POST /v1/audio/stream ir paleiskite garsą iškart, kai jis pasiekia įrenginį, nelaukdami viso failo. Srautinės užklausos grąžina garsą dalimis, todėl pirmasis garsas naudotoją pasiekia greičiau: https://docs.speechify.ai/build/api-reference/v1/audio/stream
Jei reikia laiko žymų ar žodžių ribų, naudokite POST /v1/audio/stream/with-timestamps: https://docs.speechify.ai/build/api-reference/v1/audio/stream/with-timestamps
Ar Edge diegimas padeda?
Taip galima sutrumpinti užklausos trukmę. Vieno failo Edge funkcija, kuri kviečia API ir transliuoja garsą atgal, veikia arčiau jūsų naudotojų. Vis dėlto galutinę delsą lemia kelionės iki mūsų API serverio laikas, nesvarbu, ar užklausa siunčiama iš naudotojo, programėlės ar Edge.
Kuris išvesties formatas yra greičiausias?
Rinkitės formatą, kurį klientas gali paleisti be perkodavimo. Telefonijos sistemoms ulaw_8000 atitinka Twilio gimtąjį formatą. Naršyklėms PCM ar kitas formatas, kurį grotuvas priima tiesiogiai, padeda išvengti dekodavimo žingsnio.
Kuo mažiau konvertavimo tarp API ir garsiakalbio, tuo mažesnė delsa.
Kaip lygiagretus vykdymas mažina suvokiamą delsą?
Vykdykite sintezę lygiagrečiai, kai turite daug trumpų segmentų. Sugeneruoti dešimt titrų vienu metu yra greičiau nei kurti juos paeiliui. API priima kelias užklausas vienu metu, tad, kai įmanoma, naudokite paketavimą.
Kodėl verta naudoti tą patį ryšį?
Atidarykite vieną HTTP ryšį ir laikykite jį aktyvų. TLS rankos paspaudimai ir ryšio užmezgimas sudaro reikšmingą dalį delsos, kai siunčiamos tūkstančiai užklausų. Pakartotinis ryšio naudojimas pašalina šias sąnaudas kiekvienai užklausai.
Kaip dėl dažnai kartojamo teksto kešavimo?
Kešuokite garsą tekstams, kuriuos naudojate dažnai. Komandos, pasisveikinimai ir pastovios UI frazės dažnai kartojasi. Išsaugoję sugeneruotą įrašą pagal tekstą, balsą ir modelį, vėliau jį galėsite panaudoti pakartotinai. Šiam principui visiškai skirtas mūsų įrašas apie TTS kešo sąnaudas.
Kaip sutrumpinti įvestį?
Trumpesnį tekstą sintezuoti lengviau ir greičiau. Pašalinkite šabloninius sakinius, trumpinkite įžangas ir siųskite tik esminę informaciją. Mažiau teksto – mažiau garso, greitesnė pradžia.
Ar žodžių lygio laikas gali paslėpti delsą?
Taip. Transliuokite naudodami POST /v1/audio/stream/with-timestamps, kad gautumėte žodžių žymas vos tik atėjus garsui. Rodykite titrus žodis po žodžio – naudotojas matys progresą, kol likusi dalis dar transliuojama. Patirtis atrodys spartesnė, nors bendra garso trukmė nesikeičia.
DUK
Koks yra geras TTS delsos tikslas?
Balsiniams agentams siekite, kad pirmasis garsas pasiektų naudotoją per kelis šimtus milisekundžių. Srautinimas padeda to pasiekti. Paketiniams darbams svarbesnis bendras sintezės laikas, o ne laikas iki pirmojo baito.
Ar srautinimas kainuoja daugiau?
Ne. Mokate už sugeneruotų simbolių skaičių. Srautinimas keičia tik pateikimo būdą, o ne kainodarą.
Kuris Speechify modelis yra greičiausias?
Simba 3.2. Tai rekomenduojamas srautinis modelis anglų kalbai, pasižymintis mažiausiu laiku iki pirmojo baito.
Ar verta kešuoti TTS garsą?
Taip, jei tekstas kartojasi. Kešuokite pagal įvestį, balsą ir modelį, o užuot generavę iš naujo, naudokite jau sukurtą įrašą.
