Затримка синтезу мовлення — це проміжок між надсиланням тексту й появою першого звуку. Для голосового агента чи субтитрів у реальному часі саме цей проміжок і визначає враження від продукту. Speechify API пропонує кілька способів його скоротити. У цій статті розглянуто дев’ять підходів — від вибору моделі до повторного використання з’єднання.
Більше технічних деталей про кожен підхід — у нотатках до випусків на speechify.ai. Почніть із пояснення потокового TTS на speechify.ai/streaming-tts.
Як вибрати найшвидшу модель TTS?
Для англійської використовуйте Simba 3.2. Це рекомендована модель, спеціально оптимізована для стрімінгу, тому вона має найменший час до першого байта. Для багатомовного тексту Simba 3.0 дає змогу вказати мову й теж працює швидко. Попередні версії моделей підтримуються для сумісності, але вони повільніші.
Добирайте модель під задачу. Для голосового агента з низькою затримкою — Simba 3.2. Для пакетного озвучення, наприклад аудіокниги, підійде будь-яка модель, адже робота в реальному часі не потрібна.
Чи варто використовувати стрімінг замість очікування повного файлу?
Так, якщо користувач слухає в реальному часі. Викликайте POST /v1/audio/stream і відтворюйте аудіо в міру надходження, а не після формування всього файлу. Ця кінцева точка повертає звук частинами, тож користувач чує перші звуки значно раніше: https://docs.speechify.ai/build/api-reference/v1/audio/stream
Для часових міток або маркерів слів у потоці використовуйте POST /v1/audio/stream/with-timestamps: https://docs.speechify.ai/build/api-reference/v1/audio/stream/with-timestamps
Чи допомагає розгортання на edge?
Так можна скоротити час одного мережевого проходу. Edge-функція, яка викликає API й повертає аудіо потоком, працює ближче до користувача. Водночас затримка все одно залежить від маршруту до нашого API-сервера й назад, незалежно від місця запуску.
Який формат виводу найшвидший?
Вибирайте формат, який клієнт може відтворити без перекодування. Для телефонних систем ulaw_8000 добре відповідає рідному формату Twilio. У браузері — PCM або формат, який ваш плеєр підтримує напряму, без додаткового декодування.
Що менше перетворень між API та динаміком, то менша затримка в мілісекундах.
Як паралельність знижує затримку, яку сприймає користувач?
Запускайте синтез паралельно для кількох коротких фрагментів. Десять підписів, згенерованих одночасно, будуть готові швидше, ніж якщо обробляти їх по черзі. API підтримує паралельні запити — використовуйте це, якщо навантаження дозволяє.
Навіщо повторно використовувати з’єднання?
Відкрийте одне HTTP-з’єднання й підтримуйте його активним. TLS-рукостискання та ініціалізація з’єднання додають затримку на тисячах запитів. Повторне використання знімає ці накладні витрати з кожного звернення.
Що щодо кешування повторюваного тексту?
Кешуйте аудіо для текстів, що часто повторюються. Паролі, вітання й сталі фрази інтерфейсу використовуються знову і знову. Зберігайте згенерований фрагмент за текстом, голосом і моделлю, а потім використовуйте повторно. Цей підхід докладніше розглянуто в окремому матеріалі про зниження витрат на TTS за допомогою кешування.
Як скоротити текст для синтезу?
Що коротший текст, то швидший синтез. Приберіть зайве, скоротіть вступ і надсилайте лише те, що справді потрібно користувачу. Менше тексту — менше аудіо й швидший початок відтворення.
Чи може синхронізація за словами приховати затримку?
Так. Використовуйте стрімінг через POST /v1/audio/stream/with-timestamps, щоб отримувати маркери слів разом з аудіо. Показуйте субтитри слово за словом — користувач бачитиме прогрес ще до завершення потоку. Сприйняття буде швидшим, навіть якщо загальна тривалість аудіо не зміниться.
Часті запитання
Яка оптимальна затримка для TTS?
Для голосових ботів перший звук має з’являтися менш ніж за кілька сотень мілісекунд. Потоковий TTS дає змогу цього досягти. Для пакетних завдань важливіший загальний час обробки, а не час до першого байта.
Чи дорожчий стрімінг?
Ні. Оплата залежить від кількості символів. Стрімінг впливає лише на доставку, а не на ціну.
Яка модель найшвидша у Speechify?
Simba 3.2. Це рекомендована модель для стрімінгу з мінімальною стартовою затримкою для англійської мови.
Чи варто кешувати TTS-аудіо?
Так, якщо тексти повторюються. Кешуйте за вхідним текстом, голосом і моделлю та відтворюйте без повторної генерації.
