Hugging Face Blog·· 2024-01-15AI 评分38
ONNX Runtime 加速 SD Turbo 与 SDXL Turbo 推理,吞吐量提升最高达 229%
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive
AI 导读
ONNX Runtime 通过 CUDA 和 TensorRT 执行提供程序显著加速 SD Turbo 和 SDXL Turbo 在 NVIDIA GPU 上的推理。测试显示其吞吐量相比 PyTorch 最高提升 229%,且支持 C# 和 Java 等非 Python 语言调用。用户可通过 Hugging Face 获取由 Olive 优化的模型版本以体验性能增益。
来源:Hugging Face Blog · huggingface.co