Mesurer la qualité de la synthèse vocale : le guide pratique sur MOS, MUSHRA, PESQ/POLQA et ABX

L’essor de la synthèse vocale a transformé la façon dont les gens consomment du contenu, apprennent et interagissent avec les plateformes numériques. Des livres audio et de l’e‑learning aux outils d’accessibilité pour les personnes en situation de handicap, les voix synthétiques font désormais partie du quotidien. Mais à mesure que la demande augmente, un défi se pose : comment mesurer si les voix de synthèse vocale sonnent naturelles, engageantes et faciles à comprendre ?

Dans ce guide, nous explorerons les méthodes d’évaluation les plus utilisées — MOS, MUSHRA, PESQ/POLQA et ABX. Nous aborderons aussi le débat en cours entre MUSHRA et MOS pour l’évaluation de la synthèse vocale, afin d’y voir plus clair pour les chercheurs, développeurs et organisations qui souhaitent s’assurer que leurs systèmes de synthèse vocale atteignent les normes de qualité les plus élevées.

Pourquoi l’évaluation de la qualité est essentielle en synthèse vocale

L’efficacité de la synthèse vocale (TTS) ne se limite pas à la simple conversion de texte en audio. La qualité influe sur l’accessibilité, les résultats d’apprentissage, la productivité et même la confiance dans la technologie.

Par exemple, un système de synthèse vocale mal paramétré peut sembler robotique ou peu intelligible, ce qui frustre les utilisateurs dyslexiques qui dépendent de cet outil pour leurs lectures. À l’inverse, un système TTS de haute qualité, avec une intonation naturelle et une diction fluide, peut transformer la même expérience en un véritable levier d’autonomie.

Les organisations qui déploient la synthèse vocale — écoles, entreprises, établissements de santé et développeurs d’applications — doivent pouvoir compter sur la fiabilité de leurs systèmes. C’est là qu’interviennent les méthodes d’évaluation standardisées. Elles offrent un cadre structuré pour mesurer la qualité audio et permettent de consigner les impressions subjectives de manière cohérente et rigoureuse.

Sans évaluation, il est impossible de savoir si les mises à jour du système améliorent réellement la qualité, ou si de nouveaux modèles d’IA apportent un vrai plus à l’expérience d’écoute.

Méthodes clés pour mesurer la qualité de la synthèse vocale

1. MOS (Mean Opinion Score)

Le Mean Opinion Score (MOS) est une pierre angulaire de l’évaluation audio. À l’origine développé pour les systèmes de télécommunication, le MOS a été largement adopté en synthèse vocale en raison de sa simplicité et de sa familiarité.

Dans un test MOS, un groupe d’auditeurs humains évalue des extraits audio sur une échelle en cinq points, où 1 = mauvais et 5 = excellent. On demande aux auditeurs de prendre en compte la qualité globale, qui inclut typiquement la clarté, l’intelligibilité et le naturel.

• Points forts : le MOS est facile à mettre en place, peu coûteux et fournit des résultats faciles à interpréter. Comme il est normalisé par l’Union internationale des télécommunications (UIT), il est également considéré comme fiable dans de nombreux secteurs.
• Limites : le MOS est peu granulaire. Les différences subtiles entre deux systèmes de synthèse vocale de haute qualité peuvent ne pas ressortir dans les notes des auditeurs. Il dépend aussi fortement des impressions subjectives, qui peuvent varier selon le profil et l’expérience des évaluateurs.

Pour les praticiens du TTS, le MOS est un excellent point de départ. Il donne une vue d’ensemble pour savoir si un système est « suffisamment bon » et permet des comparaisons entre systèmes.

2. MUSHRA (Multiple Stimuli with Hidden Reference and Anchor)

MUSHRA est un cadre d'évaluation avancé élaboré par l'UIT pour évaluer la qualité audio intermédiaire. Contrairement au MOS, MUSHRA utilise une échelle de 0 à 100 et demande aux auditeurs de comparer plusieurs extraits d’un même stimulus.

Chaque test comprend :

• Une référence cachée (une version de haute qualité de l'échantillon).
• Une ou plusieurs ancres (versions dégradées ou de basse qualité pour servir de repères).
• Les systèmes de synthèse vocale évalués.

Les auditeurs notent chaque version, ce qui offre une vision des performances bien plus détaillée.

• Points forts : MUSHRA est très sensible aux écarts subtils, ce qui le rend particulièrement utile pour comparer des systèmes de synthèse vocale proches en termes de qualité. L'inclusion de références et d'ancres aide les auditeurs à étalonner leur jugement.
• Limites : il est plus complexe à mettre en place. Le paramétrage des ancres, des références et de plusieurs échantillons demande une conception soignée. Il suppose aussi que les auditeurs soient suffisamment formés pour comprendre la tâche d'évaluation.

Pour les praticiens de la synthèse vocale, MUSHRA est souvent la méthode privilégiée pour affiner les modèles ou évaluer des améliorations progressives.

3. PESQ / POLQA

Alors que MOS et MUSHRA reposent sur des auditeurs humains, PESQ (Perceptual Evaluation of Speech Quality) et son successeur POLQA (Perceptual Objective Listening Quality Analysis) sont des métriques algorithmiques. Ils modélisent la perception auditive par l'oreille et le cerveau humains, ce qui permet des tests automatisés sans faire appel à des panels humains.

Initialement conçus pour les communications vocales et les codecs, PESQ et POLQA sont utiles pour des évaluations à grande échelle ou répétitives, où monter des études auprès de participants humains serait peu pratique.

• Points forts : ils sont rapides, reproductibles et objectifs. Les résultats ne sont pas tributaires des biais ni de la fatigue des auditeurs.
• Limites : comme ils ont été conçus pour la téléphonie, ils ne reflètent pas toujours la naturalité ou l'expressivité — deux dimensions clés dans la synthèse vocale.

En pratique, PESQ/POLQA sont souvent associés à des tests subjectifs comme le MOS ou le MUSHRA. Cette combinaison offre à la fois la capacité à passer à l’échelle et une précision validée par des évaluations humaines.

4. Test ABX

Le test ABX est une méthode simple mais redoutablement efficace pour évaluer les préférences. Les auditeurs reçoivent trois échantillons :

• A (système de synthèse vocale 1)
• B (système de synthèse vocale 2)
• X (correspond soit à A, soit à B)

L'auditeur doit décider si X ressemble davantage à A ou à B.

• Points forts : l'ABX est excellent pour les comparaisons directes entre deux systèmes. Il est intuitif, facile à mettre en œuvre et fonctionne bien pour tester de nouveaux modèles face à une référence.
• Limites : l'ABX ne fournit pas d'évaluations de qualité absolue. Il indique seulement si les auditeurs préfèrent un système à un autre.

Dans la recherche en synthèse vocale, l'ABX est souvent utilisé au cours de tests A/B en développement produit, lorsque les développeurs veulent savoir si les changements sont perceptibles pour les utilisateurs.

MUSHRA vs. MOS pour la synthèse vocale

Le débat MUSHRA vs. MOS fait partie des points clés de l'évaluation de la synthèse vocale. Les deux méthodes sont largement utilisées, mais elles n'ont pas le même but :

• Le MOS est meilleur pour le benchmarking de haut niveau. Si une entreprise veut comparer son système de synthèse vocale à un concurrent ou mettre en évidence des améliorations globales de la qualité dans le temps, le MOS est simple, efficace et largement reconnu.
• Le MUSHRA, en revanche, est plus adapté à l'analyse fine. En utilisant des ancres et des références, il incite les auditeurs à prêter une attention accrue aux différences de qualité audio. Cela le rend particulièrement utile pour le développement et la recherche, où de petites améliorations de la prosodie, de la hauteur tonale ou de la clarté comptent.

En pratique : beaucoup de praticiens utilisent le MOS au début pour se donner un repère, puis passent au MUSHRA pour des tests plus fins lorsque les systèmes affichent des performances proches. Cette approche en couches garantit des évaluations à la fois pragmatiques et précises.

Bonnes pratiques pour les professionnels de la synthèse vocale

Pour obtenir des résultats fiables et exploitables avec les solutions de synthèse vocale :

1. Allier les méthodes : utiliser le MOS pour établir des repères, le MUSHRA pour l'affinage, PESQ/POLQA pour l'évolutivité et l'ABX pour les tests de préférence.
2. Constituer des panels diversifiés : la perception des auditeurs varie selon l'accent, l'âge et l'expérience d'écoute. Un groupe diversifié garantit des résultats qui reflètent la réalité du public.
3. Fournir du contexte : évaluer les solutions de synthèse vocale dans leur contexte d'usage (p. ex. livre audio vs système de navigation). Ce qui est déterminant dans un cas ne l’est pas forcément dans un autre.
4. Valider auprès des utilisateurs : en fin de compte, la meilleure mesure de qualité est de savoir si les personnes utilisent confortablement le système de synthèse vocale pour apprendre, travailler ou au quotidien.

Pourquoi Speechify privilégie la qualité dans la synthèse vocale

Chez Speechify, nous savons que la qualité de la voix fait la différence entre un outil qu'on teste une fois et un outil sur lequel on peut compter au quotidien. C'est pourquoi nous adoptons une stratégie d'évaluation à plusieurs niveaux, combinant MOS, MUSHRA, PESQ/POLQA et ABX pour mesurer les performances sous tous les angles.

Notre processus garantit que chaque nouveau modèle de voix IA est non seulement solide sur le plan technique, mais aussi agréable, naturel et engageant pour les utilisateurs réels. Qu'il s'agisse d'aider un étudiant atteint de dyslexie à suivre en cours, de permettre aux professionnels de faire plusieurs choses à la fois avec des livres audio, ou de soutenir des apprenants internationaux avec des voix multilingues, l'engagement de Speechify envers la qualité permet aux utilisateurs d'avoir confiance dans l'expérience proposée.

Cet engagement reflète notre mission : rendre la synthèse vocale inclusive, fiable et de niveau mondial.

Mesurer ce qui compte dans la synthèse vocale

Mesurer la qualité de la synthèse vocale est à la fois une science et un art. Les méthodes subjectives comme le MOS et le MUSHRA captent les impressions humaines, tandis que les méthodes objectives comme PESQ et POLQA fournissent des informations exploitables à grande échelle. Les tests ABX ajoutent des comparaisons fondées sur la préférence, essentielles au développement des produits.

Le débat MUSHRA vs. MOS montre qu'aucun test unique ne suffit. Pour les praticiens, la meilleure stratégie est de combiner les méthodes, de valider les résultats avec des utilisateurs variés et de ne jamais perdre de vue l'accessibilité sur le terrain.

Avec des plateformes comme Speechify en tête de l'évaluation de la qualité et de l'innovation, l'avenir de la synthèse vocale n'est pas seulement intelligible : il est naturel, accessible et conçu pour tous.