跳到正文
原文
Hugging Face Blog·· 2023-05-25AI 评分33

Hugging Face 利用 NNCF 和 Optimum 优化 Stable Diffusion 在 Intel CPU 上的推理性能

Optimizing Stable Diffusion for Intel CPUs with NNCF and 🤗 Optimum

AI 导读

Hugging Face 结合 OpenVINO NNCF、Quantization-Aware Training (QAT) 及 Token Merging 技术,成功优化 Stable Diffusion 模型在 Intel CPU 上的推理效率。该方案实现了相比 PyTorch 5.1x 的推理加速与 4x 的模型体积缩减,显著降低了资源受限设备上的生成延迟。

来源:Hugging Face Blog · huggingface.co