跳到正文
原文
Hugging Face Blog·· 2022-05-10AI 评分43

Hugging Face Optimum 1.2 发布:支持 ONNX Runtime 加速 Transformers 推理

Accelerated Inference with Optimum and Transformers Pipelines

AI 导读

Hugging Face 发布 Optimum 1.2,新增对 ONNX Runtime 及 Transformers pipelines 的推理支持。用户可通过替换 `AutoModelForXxx` 为 `ORTModelForXxx` 类无缝切换至加速运行时,并集成量化与图优化工具以提升模型效率。

来源:Hugging Face Blog · huggingface.co