Hugging Face 2021年2月阅读组：Long-range Transformers

Hugging Face 发布2021年2月“长程Transformer”阅读组总结，聚焦降低模型计算成本。文章综述了 Longformer、Compressive Transformer、Linformer 和 Performer 四种方法，分别采用自定义注意力模式、递归、低秩近似和核近似技术。这些方案旨在解决标准自注意力机制随序列长度二次增长的计算瓶颈，支持处理超过512或1024长度的序列。