Hugging Face 在 Intel Xeon 上通过 Q8/Q4 量化与推测解码加速 StarCoder

Hugging Face 展示在 Intel 第四代 Xeon 处理器上，结合 8bit/4bit 量化与辅助生成技术，实现 StarCoder-15B 模型推理速度提升超 7 倍。该方案利用 SmoothQuant 算法进行 INT8 静态量化，使 TTFT 和 TPOT 分别获得约 2.19x 和 2.20x 的加速，且在 HumanEval 基准测试中保持无精度损失。