跳到正文
原文
Hugging Face Blog·· 2022-07-27AI 评分32

Hugging Face 实现 TensorFlow 与 XLA 加速文本生成

Faster Text Generation with TensorFlow and XLA

AI 导读

🤗 transformers 库现已支持使用 XLA 编译 TensorFlow 文本生成模型,速度提升高达 100x,甚至快于 PyTorch。该功能基于 GPT-2 等模型演示了采样、Beam Search 及温度控制等生成策略,需 transformers >= 4.21.0 版本。

来源:Hugging Face Blog · huggingface.co