Hugging Face 提出 Assisted Generation 方法以降低文本生成延迟
Hugging Face 推出 Assisted Generation 解码方法，通过让小模型快速生成候选序列并由大模型并行验证，将文本生成延迟降低最高 10 倍。该方法已集成至 🤗 Transformers 库，用户只需传入 `assistant_model` 参数即可启用，特别适用于语音识别或摘要等输入导向任务。
推荐理由：原文详细拆解了利用小模型辅助大模型生成以突破显存带宽瓶颈的方法，并提供了在 Transformers 库中直接复用的代码实现与性能基准。