开放 ASR 排行榜新增印地语与印度英语评测集

Hugging Face 官方博客于 2026 年 8 月 28 日发布文章，介绍 Open ASR Leaderboard 与 Voice Arena 合作，为排行榜新增 Monsoon en-IN（印度英语）和 Monsoon hi-IN（印地语）两组评测数据。印地语成为该排行榜多语言标签页中的第一个印度语言。

两组数据的设计

每个语言都拆成一份公开划分（可自行评分）和一份私有划分（不公开，用于限制专门针对基准的优化）。四个划分按说话人不重叠，合计 4,888 名说话人。原文给出的公开集规模为：

• Monsoon en-IN 公开集：5.62 小时、1,444 名说话人；私有集 5.58 小时、1,405 名说话人。
• Monsoon hi-IN 公开集：1.33 小时、468 名说话人；私有集 4.47 小时、1,571 名说话人。

素材来自无脚本的双声道自然对话，切分后每条片段只含一位说话人。数据采集刻意在地域、年龄、性别、词汇、设备、声学环境、语体、语速和多合法转写等维度上拉开差异；录音由贡献者用自带手机和网络完成，因此低端设备与不稳定带宽的情况被保留下来。

元数据与说话人分布

每条片段含 18 列，其中 12 列为元数据，包括性别、出生日期、职业、教育、婚姻状况、收入、原籍区县与邦、当前城市、设备厂商与型号等。原文强调其价值在于按说话人维度分析误差，而不只在时长上增加样本：前 10 位说话人合计时长占比在 2.8%–6.8% 之间，超过一半说话人只出现一次；任一子集中单一设备型号不超过片段的 2.1%。

印地语的拼写问题与 OIWER

英语拼写差异可由规范化器收敛，印地语则不行：同一短语可能有十种以上合法写法，不存在唯一规范形式。因此印地语集为每段提供可接受写法集合（lattice），并采用 AI4Bharat 提出的 Orthographically-Informed Word Error Rate（OIWER）替代 WER。原文称，把 lattice 压平成单一参考后，所有系统的错误率都上升且升幅不均，系统排名会改变。相关实现以 voi-oiwer 开源。

评测接入方式

私有划分的评测沿用既有流程：在 Open ASR Leaderboard 的 GitHub 仓库提交 pull request，按模型清单在公开数据上报告结果，由 Hugging Face 团队验证公开集结果并计算私有集指标，再由提交方确认。印度英语以 Voice Arena Monsoon 加入主排行榜默认列，参与 Average WER；私有划分进入 Private (conversational) 列；印地语出现在 Multilingual 标签页。

文章同时引用已有研究说明 ASR 误差在种族、性别、年龄和口音上分布不均，并以公开印度英语集上的区域分组结果为例：8 个模型在全集上 WER 落在 4.81–4.99 之间，按区域分组后不同模型的波动幅度差异明显。原文将该示例定位为说明元数据能支持何种分析，而非这组数据的核心结论。