Hugging Face 展示 BLOOMZ 在 Habana Gaudi2 上的快速推理

Hugging Face 通过 Optimum Habana 库实现 BLOOMZ 模型在 Habana Gaudi2 加速器上的高效部署。基准测试显示，Gaudi2 运行 176B 参数 BLOOMZ 比 Nvidia A100 快 1.42 倍，运行 7B 版本快 2.89 倍。