Hugging Face 推出 TGI Benchmarking 工具以优化 LLM 推理部署

Hugging Face 发布 Text Generation Inference (TGI) 的配套基准测试工具，旨在超越单纯吞吐量指标，帮助开发者通过权衡延迟与吞吐来调优 LLM 部署。该工具支持在 Hugging Face Space 中运行，提供预填充统计及 TTFT、Latency 等关键性能可视化分析，适用于不同用户场景下的推理服务优化。