Hugging Face 联合 AWS 优化 Transformers 以加速 Inferentia2 推理

Hugging Face 与 AWS 合作，通过 `optimum neuron` 将 Transformers 模型适配至 AWS Inferentia2。基准测试显示，Inferentia2 相比 NVIDIA A10G GPU 平均延迟降低 4.5 倍，相比 Inferentia1 延迟降低 4 倍。开发者仅需一行代码即可编译模型，无需手动切片或修改架构。