ONNX Runtime 加速 Hugging Face 上超 130,000 个模型

ONNX Runtime 支持加速 Hugging Face 平台上超过 130,000 个模型，涵盖 BERT、GPT2 等 90 多种架构。以 whisper-tiny 为例，其推理平均延迟较 PyTorch 降低高达 74.30%。该工具通过优化性能助力大语言模型及云端模型的部署。