Hugging Face 在 GCP 第 5 代 Xeon CPU 上基准测试语言模型性能

Hugging Face 在 Google Cloud C4（第 5 代 Xeon）与 N2（第 3 代 Xeon）实例上对比文本嵌入和生成性能。C4 的文本嵌入吞吐量比 N2 高 10x 至 24x，文本生成高 2.3x 至 3.6x。考虑价格因素后，C4 在两项任务中分别保持 7x~19x 和 1.7x~2.9x 的 TCO 优势，证明轻量级 Agentic AI 可完全部署于 CPU。