Hugging Face Blog·· 2023-12-05AI 评分57
Hugging Face 发布 Optimum-NVIDIA 库以加速 LLM 推理
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code
AI 导读
Hugging Face 推出 Optimum-NVIDIA 推理库，旨在通过 NVIDIA TensorRT-LLM 和 FP8 格式大幅加速大语言模型推理。
来源：Hugging Face Blog · huggingface.co