Hugging Face Blog·· 2022-09-16AI 评分32
使用 DeepSpeed 和 Accelerate 实现 BLOOM 176B 模型的极速推理
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
Hugging Face 展示利用 DeepSpeed-Inference 与 Accelerate 在 8x80GB A100 GPU 上实现 BLOOM 176B 模型的高吞吐推理。
来源：Hugging Face Blog · huggingface.co