Hugging Face 利用深度剪枝草稿模型加速 Intel Core Ultra 上的 Qwen3-8B Agent

Hugging Face 在 Intel® Core™ Ultra 上通过 OpenVINO.GenAI 实现 Qwen3-8B 推理加速，结合投机解码与深度剪枝技术将速度提升约 1.4×。该方法使用剪枝后的 Qwen3-0.6B 作为草稿模型，配合 🤗 smolagents 框架支持本地 AI Agent 高效运行工具调用与多步推理任务。