Hugging Face 发布 Llama 2 在 Amazon SageMaker 上的基准测试

Hugging Face 针对 Llama 2 在 Amazon SageMaker 部署开展基准测试，评估了 60 种配置下的延迟与吞吐量。该研究基于 Text Generation Inference (TGI) 容器，对比了 GPTQ 4-bit 量化及不同 EC2 实例性能，旨在为成本、低延迟和高吞吐场景提供最优部署建议。