Hugging Face Optimum Intel 集成 OpenVINO 加速模型推理

Hugging Face 宣布将 Intel OpenVINO 集成至 Optimum Intel，支持在多种 Intel 处理器上对 Transformers 模型进行高效推理。该功能基于 OpenVINO 2022.2，利用 NNCF 框架实现模型量化，可在数分钟内显著降低模型体积与预测延迟。目前主要支持 BERT、DistilBERT 等编码器模型的静态量化及量化感知训练。