Hugging Face Blog·· 2021-01-19AI 评分42
Hugging Face Trainer 集成 DeepSpeed 与 FairScale ZeRO 优化训练
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale
AI 导读
Hugging Face Trainer v4.2.0 实验性支持 DeepSpeed 和 FairScale 的 ZeRO 功能，通过 `--deepspeed` 和 `--sharded_ddp` 参数实现。
来源：Hugging Face Blog · huggingface.co