Hugging Face 从零训练 CodeParrot 🦜 指南

Hugging Face 发布教程，指导用户从零开始训练名为 CodeParrot 的 Python 代码生成模型。该模型基于 GPT-2 large 架构（1.5B 参数），利用清洗后的 50GB GitHub Python 数据集进行训练。通过自定义 Tokenizer 和 🤗 Accelerate 库，开发者可复现类似 GitHub Copilot 的代码自动补全功能。