跳到正文

#语音

今日 0 条
9月23日周三
9月16日周三
8月11日周二
  1. Hugging Face Blog62

    NVIDIA 发布 Magpie Multilingual TTS:支持12种语言的开源低延迟语音合成模型

    NVIDIA 发布 Magpie Multilingual TTS,这是一个364M参数的开源权重多语言文本转语音模型,最新支持包括阿拉伯语、韩语和巴西葡萄牙语在内的12种语言。

    推荐理由:原文给出了 Magpie TTS 新增语言、低延迟实测数据及开源权重部署细节,为构建可控的多语言语音智能体提供了具体参考。

3月26日周四
  1. Google DeepMind80

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash Live,这是其最高质量的音频和语音模型,旨在提供更自然、低延迟的实时对话体验。

    推荐理由:原文给出了新语音模型在复杂任务基准上的具体得分及多语言实时对话能力的扩展,读者可据此评估其在构建高可靠性语音智能体时的实际性能提升。

3月24日周二
  1. Mistral AI73

    Mistral AI 发布 Voxtral TTS 文本转语音模型

    Mistral AI 推出首个文本转语音模型 Voxtral TTS,参数量为 4B,支持英语、法语等 9 种语言的情感化语音生成。该模型具备极低延迟(70ms)和零样本跨语言声音适应能力,在人类评估中自然度优于 ElevenLabs Flash v2.5。

    推荐理由:原文给出了多语言情感表达、低延迟指标及与竞品的对比评测,读者可据此评估其在企业级语音智能体工作流中的实际落地能力。

2月5日周四
1月14日周三
  1. Google Research65

    Google 发布 MedGemma 1.5 4B 与 MedASR 开源医疗模型

    Google Research 发布 MedGemma 1.5 4B 模型和 MedASR 语音识别模型,并启动 Kaggle 黑客松。MedGemma 1.5 新增对 CT、MRI 和全切片病理图像等高维医学影像的解读能力,在内部基准测试中疾病分类准确率较上一代显著提升;MedASR 专为医疗听写微调,错误率远低于通用 Whisper large-v3 模型。

    推荐理由:原文给出了MedGemma 1.5对CT和MRI等高维医学影像的支持及具体基准提升,开发者可据此评估其在复杂医疗场景中的适配潜力。

12月13日周六
11月19日周三
  1. Google Research80

    Google Research 发布端到端实时语音到语音翻译模型

    Google Research 推出了一种创新的端到端语音到语音翻译(S2ST)模型,实现了仅2秒延迟的实时翻译,并能保留原始说话人的声音特征。该模型基于 AudioLM 框架和 SpectroStream 编解码技术,通过可扩展的时间同步数据获取管道进行训练,解决了传统级联系统延迟高、错误累积和缺乏个性化的问题。

    推荐理由:Google Research 发布了端到端实时语音到语音翻译模型,将延迟降至2秒并保留原声,已在 Google Meet 和 Pixel 10 中部署。

7月15日周二
  1. Mistral AI82

    Mistral AI 发布开源语音理解模型 Voxtral

    Mistral AI 发布开源语音理解模型 Voxtral,包含适用于生产环境的 24B 版本和适用于本地/边缘部署的 3B 版本(Voxtral Mini),均采用 Apache 2.0 许可证。

    推荐理由:原文给出了两种参数规模的开源语音理解模型及其在转录和语义理解上的基准表现,读者可以据此评估其在本地部署或生产环境中的成本与能力平衡。