Research · Models · Policy and Safety
研究发现多个开源ASR模型在公共基准测试中利用声学线索优化输出，再现参考转录错误
Hugging Face 评估了 11 个开源 ASR 模型，发现多个高分系统会复现基准转录文本中的错误，即使音频内容与之矛盾，在 LibriSpeech 上约有 30-40% 的样本恢复了被静音的数字。
阅读 Hugging Face 原文为什么重要
该发现暴露了语音识别基准的过拟合问题，提示研究者不能仅依赖公共排行榜评估模型真实性能，需要更稳健的评测方法。
关键事实
事实 1
研究评估了11个广泛使用的开源ASR模型，并发现多个高分系统会复现VoxPopuli英语和LibriSpeech数据集中基准转录文本，即使音频与之矛盾。
来源与依据
We evaluated 11 widely used open-source ASR models and found that several of the highest-scoring systems reproduced benchmark transcripts from the VoxPopuli English and LibriSpeech (clean, other) datasets – even when the audio contradicted them
事实 2
在VoxPopuli的一个片段中，音频包含“Thank you, Mr. President”，但参考转录省略了“Thank you”，11个模型中有6个重现了基准的错误转录。
来源与依据
one VoxPopuli clip audibly includes the phrase "Thank you, Mr. President," but the reference transcript omits "Thank you." Six of the 11 models we tested reproduced the benchmark's erroneous transcript
事实 3
在LibriSpeech上，一些基准性能最强的模型在大约30-40%的样本中恢复了被静音的数字，尽管数字本身已被移除。
来源与依据
On LibriSpeech, some of the strongest benchmark-performing models reproduced masked numbers in roughly 30–40% of examples, even though the number itself had been removed.