Hugging Face Blog·· 2024-05-22AI 评分35
Hugging Face 支持在 AWS Inferentia2 上部署模型
Deploy models on AWS Inferentia2 from Hugging Face
AI 导读
Hugging Face 宣布支持在 AWS Inferentia2 上部署超过 10 万个模型，新增 14 种架构和 6 类任务。Inference Endpoints 推出 Inf2-small（$0.75/小时）和 Inf2-xlarge（$12/小时）实例，适配 Llama 3 8B 与 70B。
来源：Hugging Face Blog · huggingface.co