Hugging Face 为 Text Generation Inference (TGI) 引入多后端支持

Hugging Face 推出 TGI Backends 架构，允许通过统一前端集成 vLLM、TensorRT-LLM 等推理引擎。该方案利用 Rust 重构 HTTP 与调度层以规避 Python GIL 限制，提升并发性能。计划于 2025 年第一季度集成 vLLM，并持续扩展对 NVIDIA、AWS 及 Google TPU 等硬件的支持。