Hugging Face Blog·· 2024-10-10AI 评分42
Hugging Face 验证 AMD 第五代 EPYC Turin CPU 性能提升
Introducing the AMD 5th Gen EPYC™ CPU
AI 导读
Hugging Face 联合 AMD 验证第五代 EPYC Turin CPU(Zen5 架构)在 LLM 推理中较 Genoa 实现约 2X 吞吐提升。测试基于 Meta LLaMA 3.1 8B、ZenDNN 5.0 及 torch.compile,最高支持 192 核心/384 线程。该方案可降低部署延迟与成本,相关优化 Dockerfile 即将开源。
来源:Hugging Face Blog · huggingface.co