Hugging Face Blog·· 2024-06-13AI 评分40
Hugging Face Accelerate 统一 DeepSpeed 与 FSDP 精度行为
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
AI 导读
Hugging Face Accelerate v0.30.0 引入自动上转功能,使 FSDP 在混合精度模式下对齐 DeepSpeed 的 fp32 主权重处理。该更新解决了 Mistral-7B 训练中因精度差异导致的收敛问题,并在 IBM Granite 7B 测试中实现两者相近吞吐量(FSDP 3158.7 tokens/sec/GPU vs DeepSpeed 3094.5)。
来源:Hugging Face Blog · huggingface.co