Hugging Face 提出 Assisted Generation 方法以降低文本生成延迟

Hugging Face 推出 Assisted Generation 解码方法，通过让小模型快速生成候选序列并由大模型并行验证，将文本生成延迟降低最高 10 倍。该方法已集成至 🤗 Transformers 库，用户只需传入 `assistant_model` 参数即可启用，特别适用于语音识别或摘要等输入导向任务。