Text-to-speech-viive tarkoittaa aikaa tekstin lähettämisestä siihen, kun ensimmäinen ääni kuuluu. Ääniavustajissa ja reaaliaikaisessa tekstityksessä viive on koko käyttökokemuksen ytimessä. Speechify API tarjoaa useita tapoja lyhentää viivettä. Tässä postauksessa käydään läpi yhdeksän keinoa mallin valinnasta yhteyksien uudelleenkäyttöön.
Tarkemmat tekniset tiedot kustakin keinosta löydät speechify.ain changelogista. Aloita striimaavan TTS:n esittelystä osoitteessa speechify.ai/streaming-tts.
Kuinka valita nopein TTS-malli?
Käytä Simba 3.2 -mallia englanninkielisiin käyttötarpeisiin. Se on suositeltu malli ja suunniteltu striimaukseen, joten ensimmäinen tavu kuuluu nopeimmin. Monikieliseen käyttöön Simba 3.0 lisää kieliparametrin nopeudesta tinkimättä. Vanhemmat mallit ovat edelleen saatavilla taaksepäin yhteensopivuuden vuoksi, mutta ne lisäävät viivettä.
Valitse malli käyttötarkoituksen mukaan. Pienen viiveen ääniavustaja vaatii Simba 3.2 -mallin. Eräajona tuotettava äänikirja voi käyttää mitä tahansa mallia, koska välitöntä vastausta ei tarvita.
Kannattaako striimata vai odottaa koko tiedostoa?
Kyllä, jos käyttäjä kuuntelee reaaliajassa. Kutsu POST /v1/audio/stream ja toista ääni sitä mukaa kuin sitä saapuu sen sijaan, että odottaisit koko tiedostoa. Striimauspäätepiste palauttaa äänen paloissa, joten ensimmäinen ääni kuuluu käyttäjälle huomattavasti nopeammin: https://docs.speechify.ai/build/api-reference/v1/audio/stream
Jos tarvitset aikaleimoja tai sanakohtaisia merkintöjä streamin mukana, voit käyttää myös POST /v1/audio/stream/with-timestamps -päätepistettä: https://docs.speechify.ai/build/api-reference/v1/audio/stream/with-timestamps
Auttaako edge-toteutus?
Se voi lyhentää yhtä verkkohyppyä. Edge-funktio, joka kutsuu API:a ja striimaa äänen takaisin käyttäjälle, toimii lähellä käyttäjää. Lopullinen viive määräytyy kuitenkin matkasta API-palvelimelle ja takaisin – tuli pyyntö sitten käyttäjältä, sovelluksesta tai edge-palvelusta.
Mikä ulostuloformaatti on nopein?
Valitse formaatti, jonka client voi toistaa ilman transkoodausta. Puhelinjärjestelmissä ulaw_8000 on Twilion natiivimuoto. Selaimissa PCM tai toistimen tukema formaatti ohittaa dekoodauksen tarpeen.
Mitä vähemmän muunnoksia API:n ja kaiuttimen välillä on, sitä vähemmän viivettä syntyy.
Miten rinnakkaisuus pienentää koettua viivettä?
Aja synteesi rinnakkain, jos tuotat monta lyhyttä pätkää. Kymmenen tekstityspätkän käsittely samanaikaisesti on nopeampaa kuin yksi kerrallaan. API tukee rinnakkaisia pyyntöjä, joten hyödynnä batchausta aina kun mahdollista.
Miksi yhteyksiä kannattaa käyttää uudelleen?
Avaa yksi HTTP-yhteys ja pidä se auki. TLS-kättelyt ja yhteyden muodostus lisäävät viivettä tuhansissa pyynnöissä. Yhteyden uudelleenkäyttö poistaa tämän lisäviiveen jokaisesta pyynnöstä.
Entä toistuvan tekstin välimuisti?
Tallenna usein toistuva puhe äänenä välimuistiin. PIN-koodit, tervehdykset ja vakiotekstit toistuvat jatkuvasti. Säilytä generoitu äänileike syötteen, äänen ja mallin perusteella ja käytä sitä uudelleen. TTS-välimuistia käsittelevä postaus käy tämän tarkemmin läpi.
Miten syötettä kannattaa trimmata?
Lyhyempi teksti syntetisoidaan nopeammin. Poista turhat aloitukset, lyhennä johdantoja ja lähetä vain olennainen osa. Mitä vähemmän syötetextiä, sitä vähemmän äänidataa ja sitä nopeammin ensimmäinen pala saapuu.
Voiko sanatasoinen ajoitus peittää viivettä?
Kyllä. Striimaa POST /v1/audio/stream/with-timestamps -päätepisteen kautta, niin saat sanakohtaiset merkinnät äänen mukana. Näytä tekstitys sana kerrallaan, jolloin käyttäjä näkee etenemisen striimauksen aikana. Kokemus tuntuu nopeammalta, vaikka äänitiedoston pituus ei muutu.
Usein kysytyt kysymykset
Mikä on hyvä tavoite TTS-viiveelle?
Ääniavustajissa kannattaa pyrkiä siihen, että ensimmäinen ääni kuuluu alle muutamassa sadassa millisekunnissa. Striimaus auttaa pääsemään tähän. Eräajossa ratkaisee kokonaisaika, ei ensimmäinen tavu.
Onko striimaus kalliimpaa?
Ei. Maksat syntetisoitujen merkkien perusteella. Striimaus muuttaa vain jakelutapaa, ei hintaa.
Mikä Speechifyn malli on nopein?
Simba 3.2. Se on suositeltu malli, joka on suunniteltu striimaukseen ja tarjoaa englanniksi nopeimman ensimmäisen tavun.
Kannattaako TTS-ääniä tallentaa välimuistiin?
Kyllä, jos sama teksti toistuu. Tallenna äänileike syötteen, äänen ja mallin perusteella ja käytä sitä uudelleen sen sijaan, että generoitsit sen joka kerta uudestaan.
