评估文本转语音质量：实用指南——MOS、MUSHRA、PESQ/POLQA 与 ABX
随着文本转语音技术的兴起，人们获取内容、学习和与数字平台互动的方式正在改变。从有声书和在线学习到为残障人士提供的无障碍工具，合成语音已成为现代生活的一部分。但随着需求增长，挑战也随之而来：我们如何衡量文本转语音声音是否自然、有吸引力且易于理解？
在本指南中，我们将探讨最常用的评估方法——MOS、MUSHRA、PESQ/POLQA 和 ABX。我们还将深入讨论在文本转语音评估中 MUSHRA 与 MOS 的之争，为研究人员、开发者和希望确保其文本转语音系统达到高质量标准的组织提供清晰的指导。
为何评估文本转语音的质量至关重要
文本转语音（TTS）的意义远不止于把文字变成音频。质量影响无障碍、学习效果、生产力，乃至用户对这项技术的信任。
例如，调校不佳的文本转语音系统可能听起来生硬或不清晰，会让依赖它完成阅读的失读症用户感到沮丧。相比之下，具备自然语调与流畅朗读的高质量TTS系统则能将同样的体验化为助力自主的工具。
部署文本转语音的组织——学校、企业、医疗服务提供者和应用开发者——需要笃定其系统可靠。这就是标准化评估方法的价值所在：它们提供了测量音频质量的结构化方式，让主观感受得到一致、科学的记录。
没有评估，我们就无法判断系统更新是否真的提升了质量，或新 AI 模型是否确实改善了听觉体验。
评估文本转语音质量的关键方法
1. MOS（平均意见得分）
平均意见得分（MOS）是音频评估的基石。最初为电信系统开发，MOS 因其简便性和广泛认知而被广泛应用于文本转语音领域。
在 MOS 测试中，一组人工听众对音频片段按五分制评分，1 = 差，5 = 优秀。听众需综合评估整体质量，通常包括清晰度、可懂性和自然度。
- 优点：MOS 易于上手、成本低、结果直观易懂。由于经国际电信联盟（ITU）标准化，跨行业更具公信力。
- 局限：MOS 粒度较粗。两个高质量TTS系统之间的细微差异可能难以体现在分数上。它还高度依赖主观感受，评分易受听众背景与经验影响。
对于TTS从业者而言，MOS 是不错的起点。它能给出系统是否“达标”的总体判断，并便于跨系统做基准对比。
2. MUSHRA（含隐蔽参考与锚点的多刺激比较）
MUSHRA 是国际电信联盟（ITU）为评估中等音频质量而制定的更高级的评估框架。不同于 MOS，MUSHRA 使用 0–100 的评分尺度，并要求听众比较同一刺激的多个样本。
每次测试包括：
- 一个隐藏的参考（样本的高质量版本）。
- 一个或多个锚点（低质量或降级版本，用于设定参照）。
- 待测的 text to speech 系统样本。
听众对每个版本进行评分，从而获得更细致的性能画像。
- 优点：MUSHRA 对细微差异非常敏感，尤其适合比较质量接近的 text to speech 系统。设置参考与锚点有助于听众校准判断。
- 局限：实施相对复杂。设置锚点、参考及多份样本需要精心设计，并且默认听众经过足够训练，能理解评分任务。
对于 text to speech 从业者而言，MUSHRA 常被用作微调模型或评估小幅改进时的首选方法。
3. PESQ / POLQA
MOS 和 MUSHRA 依赖人工听众，而 PESQ（语音质量知觉评估）及其继任者 POLQA（知觉客观听觉质量分析）则是基于算法的度量。它们模拟人耳与大脑对音频的感知，从而可以在无人参与的情况下进行自动化测试。
PESQ 和 POLQA 最初为语音通话及编解码器设计，适合大规模或重复性评估；当进行人工测试不切实际时尤为有用。
- 优点：快速、可重复且客观。结果不受听众偏见或疲劳影响。
- 局限：由于设计初衷是电信语音，它们不一定能充分反映自然度或表现力——这两者是 text to speech 的关键维度。
在实践中，PESQ/POLQA 常与 MOS 或 MUSHRA 等主观测试结合使用。这种组合既有可扩展性，又有经人工验证的准确性。
4. ABX Testing
ABX 测试是一种简单却高效的偏好评估方法。听众会被呈现三段样本：
- A（text to speech 系统 1）
- B（text to speech 系统 2）
- X（与 A 或 B 相匹配）
听众需判断 X 更像 A 还是更像 B。
- 优点：ABX 很适合对两种系统做直接对比。直观、易上手，适用于将新模型与基线进行比较。
- 局限：ABX 不提供绝对质量评分，只能表明听众是否偏好某一系统。
在 text to speech 研究中，ABX 常用于产品开发阶段的 A/B 测试，以判断用户能否察觉到新改动。
MUSHRA vs. MOS for Text to Speech
MUSHRA 与 MOS 的取舍是 text to speech 评估中一项重要考量。两者都广泛使用，但侧重点不同：
- MOS 适合高层级的基准测试。如果公司想将其 text to speech 系统与竞争对手比较，或展示随时间推移的整体质量提升，MOS 简单、高效且被广泛认可。
- 而 MUSHRA 更适合细粒度分析。通过设置参考与锚点，它会促使听众更留意音质差异，因此在开发和研究阶段尤为有价值，且对韵律、音高或清晰度等微小改进更为敏感。
在实务中，许多从业者前期用 MOS 建立基线，待系统性能拉近后再用 MUSHRA 做深入评测。这样的分层策略既务实又精准。
面向文本转语音从业者的最佳实践
想要从 text to speech 评估中得到可靠、可落地的结果：
- 方法组合：MOS 做基准，MUSHRA 做精调，PESQ/POLQA 提供可规模化的客观评估，ABX 用于偏好对比。
- 招募多元评审：不同口音、年龄与听觉经验都会影响感知。多元群体能让结果更贴近真实受众。
- 给足上下文：在真实使用场景中评估 text to speech（例如有声书与导航系统）。这个场景的关键点，换到另一个场景未必重要。
- 用用户说了算：归根结底，衡量质量的金标准，是用户能否舒舒服服地把 text to speech 系统用于学习、工作和日常生活。
为什么 Speechify 在文本转语音中优先考虑质量
在 Speechify，我们深知语音质量决定用户是尝个鲜，还是每天离不开。因此我们采用多层次评估体系，结合 MOS、MUSHRA、PESQ/POLQA 和 ABX，全方位衡量性能。
我们的流程确保每一个全新 AI 语音模型不仅技术在线，还让真实用户听着舒服、自然且有吸引力。无论是帮助有 dyslexia（阅读障碍）的学生跟上学业，为专业人士的 有声书 场景助力多任务处理，还是用多语言语音支持全球学习者，Speechify 对质量的承诺让用户可以放心依赖。
这种专注体现了我们的使命：让 text to speech 技术更具包容性、可靠性，且达到世界一流水准。
衡量文本转语音的关键指标
衡量 text to speech 质量既是科学，也是艺术。主观方法如 MOS 和 MUSHRA 能捕捉人的感知，客观方法如 PESQ 和 POLQA 则提供可规模化的洞见。ABX 测试补充了基于偏好的比较，这在产品开发中至关重要。
MUSHRA 和 MOS 之争说明，没有哪个单一测试包打天下。对从业者而言，最佳策略是组合多种方法，通过多元用户验证结果，并始终把真实世界的 accessibility（无障碍）考量在内。
在以质量评估和创新为先的平台如 Speechify 的带动下，文本转语音的未来不止于“听得清”——它将更自然、更可及，也更面向所有人。
