Hugging Face 详解如何利用预训练检查点热启动编码器-解码器模型

Hugging Face 发布教程，演示如何使用 🤗Transformers 的 EncoderDecoderModel 框架，利用 BERT 和 GPT2 等预训练检查点热启动编码器-解码器模型。该方法基于 Rothe et al. (2020) 的研究，旨在以远低于从头预训练的成本，实现与 T5、Pegasus 等大模型在序列到序列任务上相当的性能。