Reformer 模型如何用不到 8GB 内存处理 50 万 token 序列

Reformer 模型通过重新设计 Transformer 架构，实现用不到 8GB 内存训练长达 50 万 token 的序列。相比 BERT 仅支持 512 token 的限制，Reformer 利用局部自注意力、LSH 哈希、可逆残差层及轴向位置编码四大特性大幅降低显存占用。该模型已集成至 Hugging Face Transformers 库，适用于长文本摘要等任务。