在 Google Cloud Vertex AI 部署 Meta Llama 3.1 405B

Hugging Face 演示如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B FP8 量化模型。该方案利用配备 8 张 H100 GPU 的 A3 节点及 Text Generation Inference (TGI) 容器，支持通过代码或 Hub 直接调用进行在线推理。