Hugging Face 发布 Speech-to-Speech 在 Inference Endpoints 的部署指南
Hugging Face 推出 Speech-to-Speech (S2S) 级联管线，集成 VAD、STT、LM 和 TTS 模型，支持英法中西日韩六种语言。针对高算力需求，官方提供基于自定义 Docker 镜像的 Inference Endpoints 部署方案，通过预装依赖与数据优化启动速度并降低延迟。
#语音
#语音
今日 0 条Hugging Face BlogAI 评分3838
OpenAI News精选AI 评分7878 OpenAI 发布 Realtime API
OpenAI 发布 Realtime API，允许开发者在应用程序中构建快速的语音到语音交互体验。
推荐理由：OpenAI 推出 Realtime API，开发者可借此在应用中构建快速的语音到语音交互体验。
OpenAI NewsAI 评分1818 OpenAI 详解 Voice Engine 技术原理与安全研究
OpenAI 深入解析其文本转语音模型 Voice Engine 的技术原理，并分享相关安全研究成果。该文章重点探讨了支撑这一语音合成技术的底层机制及相应的安全防护措施。
OpenAI NewsAI 评分2323 ChatGPT 语音选择过程揭秘
OpenAI 与行业顶尖选角及导演专家合作，从超过 400 份提交中筛选出 ChatGPT 的 5 种语音。
Hugging Face BlogAI 评分4242 Hugging Face Inference Endpoints 实现 Whisper ASR、说话人分离与推测解码
Hugging Face 通过自定义推理处理器在 Inference Endpoints 上集成 Whisper ASR、Pyannote 说话人分离及推测解码。该方案利用 PyTorch 2.2 Flash Attention 加速，支持单 API 端点调用多模型组合。用户可配置助手模型以启用推测解码，需满足特定架构与 batch size=1 限制。
OpenAI NewsAI 评分3333 OpenAI 分享 Voice Engine 小规模预览的挑战与机遇
OpenAI 分享了用于创建自定义语音的模型 Voice Engine 在小规模预览阶段的经验教训。该文章旨在探讨合成语音技术当前面临的挑战以及潜在的发展机遇。
Hugging Face BlogAI 评分4040 Hugging Face 推出 TTS Arena：基于社区投票的文本转语音模型基准测试
Hugging Face 发布 TTS Arena，借鉴 Chatbot Arena 模式让用户盲听并投票比较文本转语音模型。该工具收录 ElevenLabs、MetaVoice、OpenVoice 等 SOTA 模型，通过 Elo 算法生成公开排行榜。此举旨在解决 WER 和 MOS 等传统指标在评估语音自然度时的局限性，实现开源与闭源模型的公平对比。
Hugging Face BlogAI 评分3838 使用 🤗 Transformers 微调 Wav2Vec2-BERT 进行低资源 ASR
Hugging Face 演示如何使用 🤗 Transformers 微调 Wav2Vec2-BERT（580M 参数）以优化低资源自动语音识别。该模型在蒙古语数据集上达到与 Whisper-large-v3 相似的词错误率，但推理速度快 10-30 倍且资源效率提升 2.5 倍。
Hugging Face Blog精选AI 评分6565 Hugging Face 演示通过推测解码实现 Whisper 推理 2 倍加速
Hugging Face 博客展示如何利用推测解码（Speculative Decoding）将 Whisper 模型的推理速度提升约 2 倍，同时保证输出结果与原模型完全一致。文章详细给出了使用 Distil-Whisper 或 Whisper tiny 作为辅助模型的技术实现代码、英语及多语言场景下的基准测试结果，并说明了选择辅助模型和控制批次大小等优化策略。
推荐理由：原文提供了在 Hugging Face Transformers 中利用辅助模型实现 Whisper 推理加速的具体代码与基准测试数据，展示了无损提速的工程落地路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 AudioLDM 2 在 Diffusers 中的推理加速教程
Hugging Face 发布教程展示如何在 🧨 Diffusers 库中优化 AudioLDM 2 模型的推理速度，将生成 10 秒音频的时间从约 30 秒缩短至不到 1 秒。
推荐理由：原文通过逐步演示代码优化技巧，展示了如何将 AudioLDM 2 的推理时间缩短十倍以上，为开发者提供了可直接复用的性能调优方法。
Hugging Face BlogAI 评分4040 Hugging Face 教程：使用 Transformers 优化 Bark TTS 模型推理性能
Hugging Face 发布教程，演示如何利用 Optimum 和 Accelerate 库优化基于 🤗 Transformers 的 Bark 文本转语音模型。该方案通过少量代码即可降低内存占用并提升推理速度，文中提供了针对 Bark small 检查点的基准测试结果及 Google Colab 示例。
Hugging Face BlogAI 评分5858 Hugging Face 发布 MMS Adapter 模型微调教程
Hugging Face 博客发布了针对低资源语言自动语音识别（ASR）的 MMS Adapter 模型微调教程。该教程展示了如何通过仅训练少量 Adapter 权重，在 Common Voice 数据集上实现比全量微调 XLS-R 更高效、更鲁棒的性能提升。
Hugging Face BlogAI 评分2626 Livebook 将 Whisper 聊天应用部署至 Hugging Face Spaces
Livebook 演示了如何将基于 Whisper 模型的音频转文字聊天应用部署到 Hugging Face Spaces，全程耗时不足 15 分钟。该案例展示了 Elixir 机器学习生态与 Hugging Face 的深度集成，包括 Bumblebee 库复用 Transformers 架构及 Tokenizers 绑定。
Hugging Face BlogAI 评分4040 Hugging Face Unity API 实现语音识别教程
该教程指导开发者利用 Hugging Face Unity API 在 Unity 游戏中集成语音识别功能。通过录制麦克风输入并编码为 WAV 格式，调用 API 将音频转换为文本，支持最长 10 秒、44100 Hz 的录音处理。
Hugging Face BlogAI 评分4545 SpeechT5 登陆 Hugging Face Transformers，支持语音合成、识别与转换
Microsoft Research Asia 开发的 SpeechT5 模型现已在 🤗 Transformers 中可用。该模型基于统一模态编码器-解码器架构，通过预训练实现文本到语音（TTS）、自动语音识别（ASR）及语音到语音（S2S）转换。开发者可通过加载 `microsoft/speecht5_tts` 检查点及 speaker embeddings 快速集成多任务语音处理能力。
Hugging Face BlogAI 评分3737 Hugging Face 🤗 Datasets 音频数据集加载与处理指南
Hugging Face 开源库 🤗 Datasets 支持通过 `load_dataset` 函数一行代码下载并预处理音频数据。该工具集成 Hub 上77个语音识别及28个音频分类数据集，提供流式模式与实时预览功能。以 GigaSpeech 为例，用户可轻松加载从10小时到10,000小时的多种配置，自动完成数据解压、切分及特征提取。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布使用 Transformers 微调 Whisper 进行多语言语音识别教程
Hugging Face 博客发布指南，演示如何使用 🤗 Transformers 库对 OpenAI 的 Whisper 模型进行微调，以适配任意多语言自动语音识别（ASR）数据集。
推荐理由：提供了基于 Hugging Face Transformers 微调 Whisper 进行多语言 ASR 的完整代码流程，展示了仅用少量数据即可显著提升识别性能的方法。
OpenAI News精选AI 评分8282 OpenAI 开源语音识别模型 Whisper
OpenAI 训练并开源了名为 Whisper 的神经网络模型。该模型在英语语音识别任务中展现出接近人类水平的鲁棒性和准确性。
推荐理由：原文宣布开源 Whisper 模型，指出其在英语语音识别上接近人类水平的鲁棒性和准确性。
Hugging Face BlogAI 评分4747 Hugging Face 详解 Wav2Vec2 在长音频文件上的自动语音识别方案
Hugging Face 介绍利用 CTC 架构的 stride 分块技术，解决 Wav2Vec2 处理长音频时的内存溢出问题。通过 `chunk_length_s` 和 `stride_length_s` 参数实现重叠推理并丢弃边缘 logits，可在有限硬件上对任意长度文件或实时流进行高质量 ASR。
Hugging Face BlogAI 评分4242 🤗 Transformers 集成 pyctcdecode 实现 Wav2Vec2 与 n-gram 语言模型联合解码
🤗 Transformers 现已支持通过 Kensho Technologies 的 pyctcdecode 库，将微调后的 Wav2Vec2 模型与 n-gram 语言模型结合进行音频解码。该功能解决了此前缺乏简单用户界面以利用外部语言模型提升转录准确性的问题，特别适用于仅使用少量标注数据（如 10 分钟）训练的场景。
Hugging Face BlogAI 评分4040 使用 🤗 Transformers 微调 XLS-R 进行低资源 ASR
Hugging Face 发布教程，演示如何使用 🤗 Transformers 微调 XLS-R（Wav2Vec2-XLS-R-300M）进行低资源自动语音识别。该模型基于近50万小时128种语言数据预训练，参数规模达3亿至20亿。教程以 Common Voice 数据集为例，采用 CTC 算法和 WER 指标评估，展示了从数据准备到 Hub 上传的完整流程。
Hugging Face BlogAI 评分2525 Hugging Face 教程：使用 Transformers 微调 Wav2Vec2 实现英语语音识别
Hugging Face 发布教程，指导使用 🤗 Transformers 库微调 Wav2Vec2 模型进行英语自动语音识别。该预训练模型基于对比学习，仅需 10 分钟标注数据即可在 LibriSpeech 测试集上实现低于 5% 的词错误率。