Mesurer la qualité de la synthèse vocale : le guide pratique du MOS, du MUSHRA, du PESQ/POLQA et de l’ABX
L’essor de la synthèse vocale a transformé la manière dont les gens consomment du contenu, apprennent et interagissent avec les plateformes numériques. Des livres audio et de l’e‑learning aux outils d’accessibilité pour les personnes en situation de handicap, les voix synthétiques font désormais partie du quotidien. Mais à mesure que la demande augmente, le défi s’accentue : comment savoir si les voix de synthèse vocale sonnent naturellement, sont engageantes et faciles à comprendre ?
Dans ce guide, nous explorerons les méthodes d’évaluation les plus répandues : MOS, MUSHRA, PESQ/POLQA et ABX. Nous aborderons également le débat actuel MUSHRA vs. MOS pour l’évaluation de la synthèse vocale, afin d’éclairer les chercheurs, développeurs et organisations qui souhaitent s’assurer que leurs systèmes de synthèse vocale répondent aux normes de qualité les plus élevées.
Pourquoi l’évaluation de la qualité est essentielle en synthèse vocale
L’efficacité de la synthèse vocale (TTS) ne se limite pas à la simple conversion de mots en audio. La qualité influence l’accessibilité, les résultats d’apprentissage, la productivité et même la confiance accordée à la technologie.
Par exemple, un système de synthèse vocale mal configuré peut sembler robotique ou peu clair, ce qui est frustrant pour les personnes atteintes de dyslexie qui s’en remettent à cet outil pour lire. À l’inverse, un système TTS de haute qualité, avec une intonation naturelle et une diction fluide, peut transformer cette même expérience en un véritable levier d’autonomie.
Les organisations qui déploient la synthèse vocale—établissements scolaires, entreprises, professionnels de santé et développeurs d’apps—doivent s’assurer de la fiabilité de leurs systèmes. C’est là qu’interviennent les méthodes d’évaluation standardisées. Elles offrent un cadre structuré pour mesurer la qualité audio, afin que les impressions subjectives puissent être recueillies de manière cohérente et scientifique.
Sans évaluation, il est impossible de savoir si les mises à jour du système améliorent vraiment la qualité ou si les nouveaux modèles d’IA enrichissent véritablement l’expérience d’écoute.
Les principales méthodes pour mesurer la qualité de la synthèse vocale
1. MOS (Mean Opinion Score)
Le Mean Opinion Score (MOS) est une pierre angulaire de l’évaluation audio. Initialement développé pour les systèmes de télécommunication, le MOS a été largement adopté en synthèse vocale en raison de sa simplicité et de sa familiarité.
Dans un test MOS, un groupe d’auditeurs humains note des extraits audio sur une échelle de cinq points, où 1 = Mauvais et 5 = Excellent. Les auditeurs prennent en compte la qualité générale, qui inclut généralement la clarté, l’intelligibilité et le caractère naturel.
- Points forts : le MOS est facile à mettre en place, peu coûteux et produit des résultats largement compris. Standardisé par l’Union internationale des télécommunications (UIT), il est également fiable dans tous les secteurs.
- Limites : le MOS reste assez grossier. Les différences subtiles entre deux systèmes de TTS de haute qualité peuvent passer inaperçues dans les notations des auditeurs. Il dépend aussi fortement des impressions subjectives, qui peuvent varier selon le profil et l’expérience des évaluateurs.
Pour les praticiens du TTS, le MOS est un excellent point de départ. Il offre une vue d’ensemble pour juger si un système est « suffisamment bon » et permet de comparer des systèmes.
2. MUSHRA (Multiple Stimuli with Hidden Reference and Anchor)
MUSHRA est un protocole d’évaluation plus poussé créé par l’UIT pour évaluer une qualité audio intermédiaire. Contrairement au MOS, MUSHRA utilise une échelle de 0 à 100 et demande aux auditeurs de comparer plusieurs versions d’un même stimulus.
Chaque test comprend :
- Une référence cachée (une version de haute qualité de l’échantillon).
- Une ou plusieurs ancres (versions dégradées ou de basse qualité servant de repères).
- Les text to speech testés.
Les auditeurs notent chaque version, offrant ainsi un aperçu bien plus détaillé des performances.
- Points forts : MUSHRA est très sensible aux petites différences, ce qui le rend particulièrement utile pour comparer des text to speech de qualité comparable. L’inclusion de références et d’ancres aide les auditeurs à calibrer leur jugement.
- Limitations : il est plus complexe à mettre en œuvre. Concevoir des ancres, des références et plusieurs échantillons demande une préparation soignée. Il suppose aussi des auditeurs suffisamment formés pour bien comprendre la tâche d’évaluation.
Pour les professionnels du text to speech, MUSHRA est souvent la méthode privilégiée pour affiner les modèles ou évaluer des améliorations progressives.
3. PESQ / POLQA
Alors que le MOS et MUSHRA reposent sur des auditeurs humains, le PESQ (Perceptual Evaluation of Speech Quality) et son successeur POLQA (Perceptual Objective Listening Quality Analysis) sont des mesures algorithmiques. Ils simulent la perception audio par l’oreille et le cerveau humains, permettant des tests automatisés sans recours à des panels humains.
Conçus à l’origine pour la téléphonie et les codecs, PESQ et POLQA sont utiles pour des évaluations à grande échelle ou répétitives où mener des études avec des humains serait impraticable.
- Points forts : ils sont rapides, reproductibles et objectifs. Les résultats ne dépendent ni des biais ni de la fatigue des auditeurs.
- Limitations : parce qu’ils ont été conçus pour la téléphonie, ils ne saisissent pas toujours la naturalité ou l’expressivité — deux dimensions clés dans le text to speech.
En pratique, PESQ/POLQA sont souvent associés à des tests subjectifs comme le MOS ou MUSHRA. Cette combinaison offre à la fois l’évolutivité et une précision validée par des évaluations humaines.
4. Test ABX
Le test ABX est une méthode simple mais redoutablement efficace pour évaluer les préférences. Les auditeurs reçoivent trois échantillons :
- A (text to speech système 1)
- B (text to speech système 2)
- X (qui correspond soit à A soit à B)
L’auditeur doit décider si X ressemble davantage à A ou à B.
- Points forts : ABX est idéal pour des comparaisons directes entre deux systèmes. Il est intuitif, facile à mettre en place et très utile pour tester de nouveaux modèles face à une référence.
- Limitations : ABX ne fournit pas de scores de qualité absolus. Il montre uniquement si les auditeurs préfèrent un système à un autre.
En recherche sur le text to speech, ABX est souvent utilisé pour des tests A/B dans le cadre du développement produit, lorsque les développeurs veulent savoir si les changements sont perceptibles par les utilisateurs.
MUSHRA vs. MOS pour le Text to Speech
Le débat MUSHRA vs. MOS fait partie des considérations les plus importantes dans l’évaluation du text to speech. Les deux méthodes sont largement utilisées, mais leurs finalités diffèrent :
- Le MOS est préférable pour le benchmarking de haut niveau. Si une entreprise souhaite comparer son text to speech à celui d'un concurrent ou mettre en évidence des gains de qualité globaux au fil du temps, le MOS est simple, efficace et largement reconnu.
- Le MUSHRA, en revanche, est idéal pour une analyse fine. En utilisant des ancres et des références, il pousse les auditeurs à prêter davantage attention aux différences de qualité audio. Cela le rend particulièrement utile pour le développement et la recherche, où de petites améliorations de la prosodie, de la hauteur ou de la clarté font la différence.
En pratique : beaucoup de praticiens utilisent le MOS aux premières étapes pour établir une base de référence, puis passent au MUSHRA pour des tests détaillés une fois que les systèmes affichent des performances proches. Cette approche en couches garantit des évaluations à la fois pratiques et précises.
Bonnes pratiques pour les professionnels du text to speech
Pour obtenir des résultats fiables et exploitables lors de l'évaluation du text to speech :
- Combiner les méthodes : utiliser le MOS pour le benchmarking, le MUSHRA pour l'affinage, PESQ/POLQA pour l'évolutivité et ABX pour les tests de préférence.
- Constituer des panels diversifiés : la perception des auditeurs varie selon l'accent, l'âge et l'expérience d'écoute. Un groupe diversifié garantit que les résultats reflètent le public réel.
- Donner le contexte : évaluer le text to speech dans son contexte d'usage (p. ex. livre audio vs système de navigation). Ce qui compte pour un scénario peut ne pas compter pour un autre.
- Valider auprès des utilisateurs : au final, la meilleure mesure de la qualité est de savoir si les personnes peuvent utiliser confortablement le text to speech pour apprendre, travailler ou au quotidien.
Pourquoi Speechify privilégie la qualité dans le text to speech
Chez Speechify, nous savons que la qualité de la voix fait la différence entre un outil qu'on essaie une fois et un outil dont on dépend au quotidien. C'est pourquoi nous utilisons une stratégie d'évaluation multi‑couches, combinant MOS, MUSHRA, PESQ/POLQA et ABX pour mesurer les performances sous tous les angles.
Notre processus garantit que chaque nouveau modèle de voix IA est non seulement solide sur le plan technique, mais aussi confortable, naturel et engageant pour les utilisateurs réels. Qu'il s'agisse d'aider un élève atteint de dyslexie à suivre en classe, de permettre aux professionnels d'écouter des livres audio en multitâche, ou d'accompagner des apprenants internationaux avec des voix multilingues, l'engagement de Speechify envers la qualité garantit une expérience de confiance.
Cet engagement reflète notre mission : rendre la technologie de text to speech inclusive, fiable et de classe mondiale.
Mesurer l'essentiel dans le text to speech
Mesurer la qualité du text to speech est à la fois une science et un art. Les méthodes subjectives comme le MOS et le MUSHRA capturent les impressions humaines, tandis que les méthodes objectives comme PESQ et POLQA fournissent des mesures à grande échelle. Les tests ABX ajoutent des comparaisons basées sur les préférences, essentielles dans le développement produit.
Le débat MUSHRA vs MOS montre qu'aucun test ne suffit à lui seul. Pour les praticiens, la meilleure stratégie consiste à combiner les méthodes, à valider les résultats auprès d'utilisateurs diversifiés et à ne jamais perdre de vue l'accessibilité réelle.
Avec des plateformes comme Speechify à la pointe de l'évaluation de la qualité et de l'innovation, l'avenir du text to speech n'est pas seulement intelligible : il est naturel, accessible et pensé pour tous.
