Hugging Face 发布 Open TTS Leaderboard 支持多语言与声音克隆评测
Hugging Face 推出 Open TTS Leaderboard，采用 WER、CER、RTFx 和 TTFA 等客观指标对开源文本转语音模型进行标准化评估。该榜单覆盖多语言及声音克隆能力，旨在解决现有竞技场式评测难以跟上模型发布速度且开源模型代表性不足的问题。用户可通过 Listen 标签页试听生成音频并投票反馈，同时可在 Streaming 标签页查看不同硬件下的首音频延迟表现。
#语音
#语音
今日 0 条Hugging Face BlogAI 评分5151
AWS Machine Learning BlogAI 评分3232 在 SageMaker AI 上使用 vLLM-Omni 部署 Qwen3-TTS 构建实时语音应用教程
本教程演示如何利用 AWS vLLM-Omni Deep Learning Container (DLC) 在 Amazon SageMaker AI 上部署 Qwen3-TTS，实现文本输入与音频输出的双向流式传输。通过 Gradio 应用可体验该工作流，支持在生成完整响应前开始播放语音，适用于实时语音代理等场景。
Google DeepMind精选AI 评分7373 Google DeepMind 推出 Gemini 3.8 Live with Live Avatar 实时视觉化身功能
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，将低延迟流式视频生成与原生对话模型结合，为企业用户提供具备实时视觉呈现的交互式 AI 体验。
推荐理由：原文详述了实时视觉化身在对话中的同步机制与异步工具调用能力，为评估企业级多模态交互体验提供了具体技术细节。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS 语音生成模型
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款新文本转语音模型，旨在将语音生成从静态预设转变为动态创意工具。
推荐理由：原文展示了从静态预设到动态创意工作室的转变，提供了角色定制、逐行导演及多语言支持的具体能力与基准表现。
Google DeepMind精选AI 评分8484 Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款最新实时对话模型，旨在提升语音智能体的近实时推理能力。
推荐理由：原文详细列出了两款新语音模型在多项基准测试中的具体得分及并行推理能力，为开发者评估实时语音智能体的性能与成本提供了直接依据。
Hugging Face Blog精选AI 评分6565 Open ASR Leaderboard 新增首个全球南方语言评测集
Voice Arena 与 Hugging Face 合作在 Open ASR Leaderboard 中引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，首次覆盖印地语和印度英语。
推荐理由：新增印地语和印度英语评测集，通过记录说话人属性揭示模型在不同人群中的性能差异，为评估语音识别公平性提供新基准。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemini 3.5 Transcribe 语音转文字模型
Google DeepMind 发布最新语音转文字模型 Gemini 3.5 Transcribe，旨在实现精准且智能的实时转录。该模型在 Artificial Analysis 测试中达到流式 4.0% 和非流式 2.6% 的平均词错率，支持超过 85 种语言自动检测与转录，并具备处理自我纠正、去除填充词及自定义词汇的能力。
推荐理由：原文给出了新模型的流式与非流式词错率数据及多语言支持范围，开发者可据此评估其在实时语音交互场景中的落地可行性。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布语音识别基准优化测量研究
Hugging Face 发布最新研究，提出三种测试方法以量化语音识别模型中的“基准优化”（benchmaxxing）现象。研究发现部分高分开源 ASR 模型会利用 VoxPopuli 和 LibriSpeech 等数据集特有的声学线索来复现参考转录错误、恢复被静音的数字或切换拼写变体，而非忠实转录音频内容。
推荐理由：原文通过三种探针量化了语音模型对公开基准的过拟合现象，揭示了高分背后的声学线索依赖，为评估真实泛化能力提供了新视角。
Hugging Face Blog精选AI 评分6262 NVIDIA 发布 Magpie Multilingual TTS：支持12种语言的开源低延迟语音合成模型
NVIDIA 发布 Magpie Multilingual TTS，这是一个364M参数的开源权重多语言文本转语音模型，最新支持包括阿拉伯语、韩语和巴西葡萄牙语在内的12种语言。
推荐理由：原文给出了 Magpie TTS 新增语言、低延迟实测数据及开源权重部署细节，为构建可控的多语言语音智能体提供了具体参考。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hugging Face 推出 Real World VoiceEQ 基准，旨在评估语音 AI 在真实对话中的“人类质量”，涵盖语气、情感和背景语境等转录文本无法体现的信息。
Hugging Face Blog精选AI 评分6565 Hugging Face 与 Cerebras 联合展示基于 Gemma 4 的实时语音 AI 方案
Hugging Face 和 Cerebras 联合演示了基于 Gemma 4 的实时语音到语音（Speech-to-Speech）AI 系统，旨在解决语音交互中的高延迟痛点。
推荐理由：展示了开源级联语音架构与高速推理结合后的低延迟表现，为实时交互应用提供了可复用的技术栈参考。
Hugging Face BlogAI 评分4242 Hugging Face 与 Treble Technologies 推出首个开源远场 ASR 基准 FFASR Leaderboard
Hugging Face 联合 Treble Technologies 上线首个开源远场语音识别（ASR）基准 FFASR Leaderboard，旨在量化模型在真实声学环境下的性能差距。该基准基于14个模拟房间及混合波仿真技术，验证显示低信噪比下远场词错误率（WER）显著高于近场。榜单同时评估准确率与推理速度（RTFx），并计划扩展多人对话及回声消除支持。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.5 Live Translate 实现自然语音翻译
Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持自动检测 70 多种语言并生成保留说话人语调、节奏和音高的自然翻译语音。
推荐理由：该模型支持70多种语言的近实时语音到语音翻译，并已在开发者API、企业会议及消费级应用中开放体验。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Reachy Mini 机器人全本地语音交互教程
Hugging Face 发布了让 Reachy Mini 机器人完全在本地运行语音对话的技术指南，通过 speech-to-speech 库实现 VAD、STT、LLM 和 TTS 的全链路本地处理。
推荐理由：原文提供了 Reachy Mini 机器人本地化语音交互的完整部署指南，读者可据此实现无云端依赖的隐私对话。
OpenAI NewsAI 评分1818 Parloa 利用 OpenAI 模型构建语音 AI 客服智能体
Parloa 利用 OpenAI 模型构建可扩展的语音驱动 AI 客服智能体。该方案支持企业设计、模拟并部署可靠的实时交互，旨在打造客户愿意与之对话的服务体验。
Hugging Face BlogAI 评分3535 Open ASR Leaderboard 引入私有数据集以防范 Benchmaxxing
Hugging Face 联合 Appen Inc. 和 DataoceanAI 在 Open ASR Leaderboard 中新增覆盖多口音的高质量私有 ASR 数据集，旨在防止基准测试优化（benchmaxxing）及测试集污染。默认 Average WER 仍仅基于公开数据集计算，用户可通过切换开关查看私有数据影响。
OpenAI NewsAI 评分2929 OpenAI 如何大规模交付低延迟语音 AI
OpenAI 重构其 WebRTC 技术栈，以支持具备低延迟、全球规模及无缝对话轮转能力的实时语音 AI。
Google DeepMind精选AI 评分7070 Google DeepMind 发布 Gemini 3.1 Flash TTS 支持细粒度音频标签控制
Google DeepMind 推出最新文本转语音模型 Gemini 3.1 Flash TTS，即日起在 Gemini API、Google AI Studio 和 Vertex AI 预览版中向开发者和企业开放。
推荐理由：新模型引入自然语言音频标签以精细控制语调节奏，并在 Artificial Analysis 榜单取得高分，适合评估其在多语言场景下的表现力与成本平衡。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型
Google DeepMind 发布 Gemini 3.1 Flash Live，这是其最高质量的音频和语音模型，旨在提供更自然、低延迟的实时对话体验。
推荐理由：原文给出了新语音模型在复杂任务基准上的具体得分及多语言实时对话能力的扩展，读者可据此评估其在构建高可靠性语音智能体时的实际性能提升。
Hugging Face BlogAI 评分4848 Hugging Face 发布语音智能体评估框架 EVA
Hugging Face 推出首个联合评分任务准确性与对话体验的端到端语音智能体评估框架 EVA。该框架基于 bot-to-bot 架构，提供包含 50 个航空场景的数据集及 20 个系统的基准测试结果。研究发现存在一致的准确性-体验权衡，高任务完成率往往伴随较差的用户体验。
Mistral AI精选AI 评分7373 Mistral AI 发布 Voxtral TTS 文本转语音模型
Mistral AI 推出首个文本转语音模型 Voxtral TTS，参数量为 4B，支持英语、法语等 9 种语言的情感化语音生成。该模型具备极低延迟（70ms）和零样本跨语言声音适应能力，在人类评估中自然度优于 ElevenLabs Flash v2.5。
推荐理由：原文给出了多语言情感表达、低延迟指标及与竞品的对比评测，读者可据此评估其在企业级语音智能体工作流中的实际落地能力。
Google ResearchAI 评分4040 Google Research 发布 WAXAL：覆盖27种非洲语言的开源语音数据集
Google Research 推出 WAXAL，包含约1846小时ASR转录数据和565小时TTS高保真录音，覆盖27种撒哈拉以南非洲语言。该数据集采用 CC-BY-4.0 许可开源，由非洲学术与社区组织主导采集，旨在支持超1亿使用者的语音技术研发。
Mistral AI精选AI 评分7878 Mistral AI 发布 Voxtral Transcribe 2 系列语音转文字模型
Mistral AI 发布 Voxtral Transcribe 2，包含面向批量处理的 Voxtral Mini Transcribe V2 和面向实时应用的 Voxtral Realtime。
推荐理由：官方发布了具备超低延迟和说话人分离能力的新一代语音转文字模型，其中实时版以 Apache 2.0 协议开源，提供了具体的性能基准和定价信息。
Google Research精选AI 评分6565 Google 发布 MedGemma 1.5 4B 与 MedASR 开源医疗模型
Google Research 发布 MedGemma 1.5 4B 模型和 MedASR 语音识别模型，并启动 Kaggle 黑客松。MedGemma 1.5 新增对 CT、MRI 和全切片病理图像等高维医学影像的解读能力，在内部基准测试中疾病分类准确率较上一代显著提升；MedASR 专为医疗听写微调，错误率远低于通用 Whisper large-v3 模型。
推荐理由：原文给出了MedGemma 1.5对CT和MRI等高维医学影像的支持及具体基准提升，开发者可据此评估其在复杂医疗场景中的适配潜力。
Google DeepMind精选AI 评分7878 Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio 模型
Google DeepMind 发布升级版 Gemini 2.5 Flash Native Audio 模型，旨在优化实时语音代理的自然对话与复杂任务处理能力。
推荐理由：官方更新了 Gemini 2.5 Flash Native Audio 模型，显著提升了实时语音代理在复杂工作流处理、指令遵循及多轮对话中的表现。
Google ResearchAI 评分3838 Google Research 发布 MSEB 基准测试以评估音频智能
Google Research 在 NeurIPS 2025 上推出 Massive Sound Embedding Benchmark (MSEB)，旨在标准化评估多模态模型的八项核心听觉能力。该基准包含新开源的 SVQ 数据集，涵盖 177,352 条跨 26 个地区、17 种语言的语音查询。实验显示当前声音表示远非通用，在所有任务中存在显著性能提升空间。
Hugging Face BlogAI 评分4040 Open ASR Leaderboard 新增多语言与长音频赛道：趋势与洞察
Hugging Face 在 Open ASR Leaderboard 中新增多语言和长音频转录赛道，对比了来自 18 个组织的 60+ 模型。数据显示 Conformer 编码器结合 LLM 解码器（如 Canary-Qwen-2.5B）准确率最高，而 CTC/TDT 解码器速度提升 10–100 倍；长音频场景下闭源系统仍领先，开源最佳为 Whisper Large v3。
Google Research精选AI 评分8080 Google Research 发布端到端实时语音到语音翻译模型
Google Research 推出了一种创新的端到端语音到语音翻译（S2ST）模型，实现了仅2秒延迟的实时翻译，并能保留原始说话人的声音特征。该模型基于 AudioLM 框架和 SpectroStream 编解码技术，通过可扩展的时间同步数据获取管道进行训练，解决了传统级联系统延迟高、错误累积和缺乏个性化的问题。
推荐理由：Google Research 发布了端到端实时语音到语音翻译模型，将延迟降至2秒并保留原声，已在 Google Meet 和 Pixel 10 中部署。
Hugging Face BlogAI 评分4545 Hugging Face 提出语音克隆“同意门”机制
Hugging Face 推出“voice consent gate”概念，要求用户朗读包含模型名的特定句子以显式授权语音克隆。该方案结合 ASR 与 TTS 技术，确保仅在识别到实时麦克风输入的同意语句后才启动合成，旨在平衡深度伪造风险与辅助沟通等正向应用。
Mistral AI精选AI 评分8282 Mistral AI 发布开源语音理解模型 Voxtral
Mistral AI 发布开源语音理解模型 Voxtral，包含适用于生产环境的 24B 版本和适用于本地/边缘部署的 3B 版本（Voxtral Mini），均采用 Apache 2.0 许可证。
推荐理由：原文给出了两种参数规模的开源语音理解模型及其在转录和语义理解上的基准表现，读者可以据此评估其在本地部署或生产环境中的成本与能力平衡。
Hugging Face BlogAI 评分2828 Arm 展示基于 Stable Audio Open 的实时端侧 AI 声音生成工具
Arm 推出基于 Stable Audio Open 模型的实时 AI 声音生成应用，利用 Arm CPU 实现纯端侧推理，无需 GPU 或云端。该工具通过 PyTorch 优化多线程执行，能在数秒内根据提示词生成 .wav 文件并直接导入 Ableton Live，兼顾隐私与创作效率。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 推出极速 Whisper 部署方案
Hugging Face 在 Inference Endpoints 上推出基于 vLLM 的 OpenAI Whisper 优化部署，性能提升高达 8x。该方案针对 NVIDIA L4/L40s GPU 进行 torch.compile、CUDA graphs 及 float8 KV cache 等底层优化，在保持转录质量的同时显著降低延迟。
Hugging Face BlogAI 评分4242 Hugging Face 与 Cloudflare 合作为 FastRTC 提供实时音视频基础设施
Hugging Face 与 Cloudflare 达成合作，让 FastRTC 开发者通过 Hugging Face token 直接接入企业级 WebRTC 基础设施。该集成在 FastRTC v0.0.20+ 版本可用，每月免费提供 10GB 数据流量，旨在解决 AI 应用部署中 TURN 服务器维护难题并支持低延迟实时音视频流。
Hugging Face BlogAI 评分3131 Hugging Face 与 IISc/ARTPARK 合作开放 Vaani 数据集以支持印度多语言模型开发
Hugging Face 联合 IISc/ARTPARK 开放 Vaani 数据集，助力全球开发者构建覆盖印度 54 种语言的 AI 模型。该多模态数据集已开源 Phase 1（80 个地区），包含 790 小时转录音频及 70K 图像，支持语音识别、代码切换 ASR 及多模态 LLM 增强等任务。
Hugging Face Blog精选AI 评分7878 Hugging Face 发布 FastRTC：面向 Python 的实时通信库
Hugging Face 推出 FastRTC，这是一个专为 Python 设计的实时通信库，旨在简化实时音频和视频 AI 应用的构建。它内置了自动语音检测、轮次管理以及基于 Gradio 的 UI，支持 WebRTC 和 WebSocket，并可一键部署为 FastAPI 应用或获取免费电话号码进行通话测试。
推荐理由：该库通过封装 WebRTC 和自动语音检测，让 Python 开发者能低门槛构建实时音视频 AI 应用，并支持快速部署与电话接入。
Hugging Face Blog精选AI 评分6262 Artificial Analysis 发布 Big Bench Audio 数据集以评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 数据集，用于评估音频语言模型的推理能力。该数据集改编自 Big Bench Hard，包含 1000 个音频问题，涵盖逻辑演绎、导航和计数等类别。
推荐理由：原文通过对比不同音频处理模式，量化了原生语音模型在复杂推理任务上的性能落差，为评估语音智能体能力提供了具体基准数据。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现 Whisper ASR、说话人分离与推测解码
Hugging Face 通过自定义推理处理器在 Inference Endpoints 上集成 Whisper ASR、Pyannote 说话人分离及推测解码。该方案利用 PyTorch 2.2 Flash Attention 加速，支持单 API 端点调用多模型组合。用户可配置助手模型以启用推测解码，需满足特定架构与 batch size=1 限制。
Hugging Face BlogAI 评分4040 Hugging Face 推出 TTS Arena：基于社区投票的文本转语音模型基准测试
Hugging Face 发布 TTS Arena，借鉴 Chatbot Arena 模式让用户盲听并投票比较文本转语音模型。该工具收录 ElevenLabs、MetaVoice、OpenVoice 等 SOTA 模型，通过 Elo 算法生成公开排行榜。此举旨在解决 WER 和 MOS 等传统指标在评估语音自然度时的局限性，实现开源与闭源模型的公平对比。
Hugging Face BlogAI 评分3838 使用 🤗 Transformers 微调 Wav2Vec2-BERT 进行低资源 ASR
Hugging Face 演示如何使用 🤗 Transformers 微调 Wav2Vec2-BERT（580M 参数）以优化低资源自动语音识别。该模型在蒙古语数据集上达到与 Whisper-large-v3 相似的词错误率，但推理速度快 10-30 倍且资源效率提升 2.5 倍。
Hugging Face Blog精选AI 评分6565 Hugging Face 演示通过推测解码实现 Whisper 推理 2 倍加速
Hugging Face 博客展示如何利用推测解码（Speculative Decoding）将 Whisper 模型的推理速度提升约 2 倍，同时保证输出结果与原模型完全一致。文章详细给出了使用 Distil-Whisper 或 Whisper tiny 作为辅助模型的技术实现代码、英语及多语言场景下的基准测试结果，并说明了选择辅助模型和控制批次大小等优化策略。
推荐理由：原文提供了在 Hugging Face Transformers 中利用辅助模型实现 Whisper 推理加速的具体代码与基准测试数据，展示了无损提速的工程落地路径。