Hugging Face Blog·· 2024-08-21AI 评分45
Hugging Face 实现 Flash Attention 2 无填充打包训练，吞吐量提升最高 2x
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2
AI 导读
Hugging Face Transformers 新增 DataCollatorWithFlattening，使 Flash Attention 2 支持无填充序列打包。该功能在 FLAN 数据集上实现 llama2-7B 等模型最高 2x 训练吞吐提升，峰值内存降低 20%，且保持收敛质量不变。
来源：Hugging Face Blog · huggingface.co