Hugging Face Blog·· 2022-03-16AI 评分28
Hugging Face 联合 AWS Inferentia 加速 BERT 推理
Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia
AI 导读
Hugging Face 与 AWS 合作，利用 AWS Inferentia 芯片加速 BERT 等 Transformer 模型推理。该方案相比 GPU 实例可降低高达 80% 的单次推理成本并提升 2.3 倍吞吐量。
来源：Hugging Face Blog · huggingface.co