Hugging Face 发布 SetFit 在 Intel Xeon 上通过 Optimum Intel 实现 7.8 倍推理加速

Hugging Face 展示如何利用 🤗 Optimum Intel 将 SetFit 模型在 Intel Xeon CPU 上的推理速度提升 7.8 倍。该方案采用静态后训练量化（PTQ），仅需少量无标签校准数据即可降低内存占用并保留精度，无需重新训练。这为基于 Sentence Transformers 的少样本微调框架提供了生产级部署的高效路径。