Hugging Face 为 Intel Gaudi 提供辅助生成加速支持

Hugging Face 在 Optimum Habana 中为 Intel Gaudi 处理器适配并优化了辅助生成功能，利用推测采样技术实现文本生成加速。该方法通过草稿模型生成 token 并由目标模型验证，可为大型 Transformer 模型带来约 2 倍的推理速度提升，同时保持与自回归采样一致的输出质量。