跳到正文
原文
Hugging Face Blog·· 2023-04-27AI 评分48

Hugging Face 发布使用 TensorFlow 和 TPU 训练语言模型教程

Training a language model with 🤗 Transformers using TensorFlow and TPUs

AI 导读

Hugging Face 发布教程,指导用户利用 🤗 Transformers、TensorFlow 及 TPUStrategy 从零开始训练 RoBERTa (base) 模型。该方案通过 XLA 兼容性优化,解决了社区在 TPU 上训练时的痛点,并演示了从 WikiText v1 数据集处理、Unigram tokenizer 训练到 TFRecord 格式上传的完整流程。

来源:Hugging Face Blog · huggingface.co