Open ASR Leaderboard 新增首个全球南方语言评测集
Voice Arena 与 Hugging Face 合作在 Open ASR Leaderboard 中引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,首次覆盖印地语和印度英语。
推荐理由:新增印地语和印度英语评测集,通过记录说话人属性揭示模型在不同人群中的性能差异,为评估语音识别公平性提供新基准。
Voice Arena 与 Hugging Face 合作在 Open ASR Leaderboard 中引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,首次覆盖印地语和印度英语。
推荐理由:新增印地语和印度英语评测集,通过记录说话人属性揭示模型在不同人群中的性能差异,为评估语音识别公平性提供新基准。
Hugging Face 发布最新研究,提出三种测试方法以量化语音识别模型中的“基准优化”(benchmaxxing)现象。研究发现部分高分开源 ASR 模型会利用 VoxPopuli 和 LibriSpeech 等数据集特有的声学线索来复现参考转录错误、恢复被静音的数字或切换拼写变体,而非忠实转录音频内容。
推荐理由:原文通过三种探针量化了语音模型对公开基准的过拟合现象,揭示了高分背后的声学线索依赖,为评估真实泛化能力提供了新视角。
Hugging Face 推出 Real World VoiceEQ 基准,旨在评估语音 AI 在真实对话中的“人类质量”,涵盖语气、情感和背景语境等转录文本无法体现的信息。
Hugging Face 联合 Treble Technologies 上线首个开源远场语音识别(ASR)基准 FFASR Leaderboard,旨在量化模型在真实声学环境下的性能差距。该基准基于14个模拟房间及混合波仿真技术,验证显示低信噪比下远场词错误率(WER)显著高于近场。榜单同时评估准确率与推理速度(RTFx),并计划扩展多人对话及回声消除支持。
Hugging Face 推出首个联合评分任务准确性与对话体验的端到端语音智能体评估框架 EVA。该框架基于 bot-to-bot 架构,提供包含 50 个航空场景的数据集及 20 个系统的基准测试结果。研究发现存在一致的准确性-体验权衡,高任务完成率往往伴随较差的用户体验。
Google Research 推出 WAXAL,包含约1846小时ASR转录数据和565小时TTS高保真录音,覆盖27种撒哈拉以南非洲语言。该数据集采用 CC-BY-4.0 许可开源,由非洲学术与社区组织主导采集,旨在支持超1亿使用者的语音技术研发。
Google Research 在 NeurIPS 2025 上推出 Massive Sound Embedding Benchmark (MSEB),旨在标准化评估多模态模型的八项核心听觉能力。该基准包含新开源的 SVQ 数据集,涵盖 177,352 条跨 26 个地区、17 种语言的语音查询。实验显示当前声音表示远非通用,在所有任务中存在显著性能提升空间。
Hugging Face 在 Open ASR Leaderboard 中新增多语言和长音频转录赛道,对比了来自 18 个组织的 60+ 模型。数据显示 Conformer 编码器结合 LLM 解码器(如 Canary-Qwen-2.5B)准确率最高,而 CTC/TDT 解码器速度提升 10–100 倍;长音频场景下闭源系统仍领先,开源最佳为 Whisper Large v3。
Artificial Analysis 发布 Big Bench Audio 数据集,用于评估音频语言模型的推理能力。该数据集改编自 Big Bench Hard,包含 1000 个音频问题,涵盖逻辑演绎、导航和计数等类别。
推荐理由:原文通过对比不同音频处理模式,量化了原生语音模型在复杂推理任务上的性能落差,为评估语音智能体能力提供了具体基准数据。