Hugging Face Inference Endpoints 实现 Whisper ASR、说话人分离与推测解码

Hugging Face 通过自定义推理处理器在 Inference Endpoints 上集成 Whisper ASR、Pyannote 说话人分离及推测解码。该方案利用 PyTorch 2.2 Flash Attention 加速，支持单 API 端点调用多模型组合。用户可配置助手模型以启用推测解码，需满足特定架构与 batch size=1 限制。