跳到正文
原文
Hugging Face Blog·· 2024-07-29AI 评分35

Hugging Face 与 NVIDIA NIM 推出 Serverless Inference 服务

Serverless Inference with Hugging Face and NVIDIA NIM

AI 导读

Hugging Face 联合 NVIDIA 推出基于 NIM 的 Serverless Inference API,支持 Enterprise Hub 用户通过 OpenAI 兼容接口调用 Llama、Mistral 等开源模型。该服务运行于 NVIDIA H100 GPU,采用按请求时长计费模式,例如 Meta-Llama-3-8B-Instruct 单次请求约 $0.0023。

来源:Hugging Face Blog · huggingface.co