Hugging Face 利用 Intel Sapphire Rapids 加速 PyTorch Transformer 推理

Hugging Face 展示在 Intel Sapphire Rapids CPU 上运行 PyTorch Transformer 模型的推理性能。通过 Optimum Intel 库，对比 Ice Lake 架构，测试了 distilbert、bert 和 roberta 等模型在短长文本序列下的延迟。结果显示新架构能显著提升推理速度，为成本敏感场景提供高效 CPU 方案。