Hugging Face Blog·· 2022-05-10AI 评分43
Hugging Face Optimum 1.2 发布:支持 ONNX Runtime 加速 Transformers 推理
Accelerated Inference with Optimum and Transformers Pipelines
AI 导读
Hugging Face 发布 Optimum 1.2,新增对 ONNX Runtime 及 Transformers pipelines 的推理支持。用户可通过替换 `AutoModelForXxx` 为 `ORTModelForXxx` 类无缝切换至加速运行时,并集成量化与图优化工具以提升模型效率。
来源:Hugging Face Blog · huggingface.co