Hugging Face Blog·· 2022-08-02AI 评分28
Nyströmformer：通过Nyström方法实现线性时间与内存的自注意力近似
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method
AI 导读
Nyströmformer利用Nyström方法将Transformer自注意力的复杂度从O(n²)降至O(n)。该模型通过查询和键的段均值采样32或64个landmarks来近似softmax矩阵，在长序列（n=4096或8192）上保持与标准自注意力相当的竞争力性能。
来源：Hugging Face Blog · huggingface.co