跳到正文
原文
Hugging Face Blog·· 2025-03-28AI 评分30

Hugging Face TGI 原生集成 Intel Gaudi 硬件支持

🚀 Accelerating LLM Inference with TGI on Intel Gaudi

AI 导读

Hugging Face 将 Intel Gaudi 硬件支持原生集成至 Text Generation Inference (TGI) 主代码库,取代了之前的独立 fork。该更新通过多后端架构支持 Gaudi1/2/3,优化了 Llama 3.1、Mixtral 等模型在 Gaudi 上的推理性能,并引入 FP8 量化与多卡分片功能。

来源:Hugging Face Blog · huggingface.co