Hugging Face Accelerate 集成 DeepSpeed ZeRO 实现大模型训练加速

Hugging Face Accelerate 库通过集成 DeepSpeed ZeRO 技术，允许用户在不修改代码的情况下启用 Stage-2 优化。在 DeBERTa-XL (900M) 微调任务中，该方法将单 GPU 最大批次大小从 DDP 的 8 提升至 40，实现约 3.5 倍训练速度提升且无性能损失。