La latència del text a veu és el temps que passa entre enviar el text i sentir el primer àudio. En un agent de veu o en subtitulació en directe, aquest temps és clau. L'API de Speechify ofereix diverses eines per reduir-lo. En aquest article s’expliquen nou estratègies, des de l’elecció del model fins a la reutilització de connexions.
Si vols més detall tècnic sobre cada estratègia, consulta les publicacions del changelog de speechify.ai. Comença pel resum d’streaming TTS a speechify.ai/streaming-tts.
Com puc triar el model TTS més ràpid?
Fes servir Simba 3.2 per a tasques en anglès. És el model recomanat i optimitzat per a streaming, amb el temps de resposta més baix. Per a contingut multilingüe, Simba 3.0 incorpora el paràmetre d'idioma i manté la rapidesa. Els models antics només es fan servir per compatibilitat i afegeixen latència.
Adapta el model a la tasca. Per a agents de veu amb baixa latència, tria Simba 3.2. Per a audiollibres processats per lots, pots fer servir qualsevol model, ja que no cal una resposta immediata.
És millor fer streaming que esperar l’arxiu complet?
Sí, quan l’usuari escolta en directe. Fes una crida a POST /v1/audio/stream i reprodueix l’àudio a mesura que arriba, en lloc d’esperar el fitxer sencer. El punt d’streaming retorna l’àudio a trossos, de manera que el primer so arriba a l’usuari molt abans: https://docs.speechify.ai/build/api-reference/v1/audio/stream
Si necessites marques de temps o paraules al teu flux, pots utilitzar el punt POST /v1/audio/stream/with-timestamps: https://docs.speechify.ai/build/api-reference/v1/audio/stream/with-timestamps
Ajuda desplegar a l’edge?
Pot estalviar un salt de xarxa. Una funció edge que crida l’API i fa streaming de l’àudio és a prop dels usuaris. Al capdavall, la latència depèn del trajecte fins al nostre servidor d’API i de tornada, tant si surt de l’usuari com de l’aplicació o de l’edge.
Quin format de sortida és el més ràpid?
Tria un format que el client pugui reproduir sense transcodificar. Per a sistemes telefònics, ulaw_8000 coincideix amb el format nadiu de Twilio. Als navegadors, PCM o un format compatible amb el teu reproductor evita passos de descodificació.
Com menys conversions hi hagi entre l'API i el dispositiu, menys mil·lisegons s’hi afegeixen.
Com redueix la concurrència la latència percebuda?
Fes la síntesi en paral·lel quan tinguis molts segments curts. Generar deu subtítols alhora és més ràpid que fer-ho d’un en un. L’API admet peticions simultànies; agrupa-les si la tasca ho permet.
Per què cal reutilitzar connexions?
Obre una connexió HTTP i mantén-la oberta. Les negociacions TLS i la configuració afegeixen temps en milers de peticions. Reutilitzar la connexió elimina aquest cost a cada crida.
Què passa si faig servir memòria cau per al text repetit?
Desa en memòria cau l’àudio dels textos que es repeteixen sovint. Claus, salutacions o cadenes fixes d'interfície es reutilitzen constantment. Desa el clip generat per text, veu i model, i reutilitza’l. La publicació sobre la memòria cau detallada de TTS ho explica a fons.
Com optimitzo l’entrada?
Com més curt sigui el text, més ràpid es sintetitza. Elimina redundàncies i envia només el que cal per a l’usuari. Menys text d’entrada vol dir menys àudio i un primer fragment més ràpid.
El temps a nivell de paraula pot ocultar la latència?
Sí. Fes streaming amb POST /v1/audio/stream/with-timestamps per obtenir marques de paraula a mesura que arriba l’àudio. Mostra els subtítols paraula a paraula perquè l’usuari vegi el progrés mentre la resta es reprodueix. L’experiència sembla més ràpida, encara que la durada total sigui la mateixa.
Preguntes freqüents
Quina latència és bona per a TTS?
Per a agents de veu, procura que l’àudio inicial arribi en menys de centenars de mil·lisegons. L’streaming ho facilita. En processos per lots, només importa el temps total.
L’streaming té més cost?
No. El pagament és per caràcter sintetitzat. L’streaming només canvia la manera de lliurar-lo, no el preu.
Quin model és més ràpid a Speechify?
Simba 3.2. És el model recomanat, nadiu per a streaming i amb el temps de resposta més baix per a l’anglès.
He de fer servir memòria cau per a l’àudio TTS?
Sí, per a textos repetits. Fes servir memòria cau per entrada, veu i model, i reutilitza el clip sense regenerar-lo.
