Hugging Face 演示通过推测解码实现 Whisper 推理 2 倍加速

Hugging Face 博客展示如何利用推测解码（Speculative Decoding）将 Whisper 模型的推理速度提升约 2 倍，同时保证输出结果与原模型完全一致。文章详细给出了使用 Distil-Whisper 或 Whisper tiny 作为辅助模型的技术实现代码、英语及多语言场景下的基准测试结果，并说明了选择辅助模型和控制批次大小等优化策略。