Hugging Face Blog·· 2023-04-27AI 评分48
Hugging Face 发布使用 TensorFlow 和 TPU 训练语言模型教程
Training a language model with 🤗 Transformers using TensorFlow and TPUs
AI 导读
Hugging Face 发布教程,指导用户利用 🤗 Transformers、TensorFlow 及 TPUStrategy 从零开始训练 RoBERTa (base) 模型。该方案通过 XLA 兼容性优化,解决了社区在 TPU 上训练时的痛点,并演示了从 WikiText v1 数据集处理、Unigram tokenizer 训练到 TFRecord 格式上传的完整流程。
来源:Hugging Face Blog · huggingface.co