Hugging Face Blog·· 2024-07-29AI 评分35
Hugging Face 与 NVIDIA NIM 推出 Serverless Inference 服务
Serverless Inference with Hugging Face and NVIDIA NIM
AI 导读
Hugging Face 联合 NVIDIA 推出基于 NIM 的 Serverless Inference API,支持 Enterprise Hub 用户通过 OpenAI 兼容接口调用 Llama、Mistral 等开源模型。该服务运行于 NVIDIA H100 GPU,采用按请求时长计费模式,例如 Meta-Llama-3-8B-Instruct 单次请求约 $0.0023。
来源:Hugging Face Blog · huggingface.co