Hugging Face 支持在 Cloud TPUs 上使用 PyTorch / XLA 训练 Transformers

Hugging Face 与 Google TPU 团队合作，为 PyTorch / XLA 添加对 Cloud TPUs 的一流支持。用户可通过 `Trainer` 模块在保持原有接口不变的情况下，利用 `xm.xla_device()` 和 `xm.optimizer_step()` 等 API 在 Cloud TPUs 上运行并扩展模型训练。