Hugging Face Blog·· 2021-04-20AI 评分38
Hugging Face 探讨 BERT 在 CPU 上的推理扩展(第一部分)
Scaling-up BERT Inference on CPU (Part 1)
AI 导读
Hugging Face 发布关于 BERT 模型在 CPU 上高效部署的系列文章首篇,聚焦硬件优化策略。基准测试基于 AWS c5.metal 实例及 Intel Xeon Platinum 8275 CPU,对比 PyTorch 1.8.1、TensorFlow 2.4.0 与 ONNX Runtime 性能。
来源:Hugging Face Blog · huggingface.co