Hugging Face 发布 Cosmopedia：用于预训练大语言模型的大规模合成数据生成指南

Hugging Face 推出 Cosmopedia，这是一个包含超过 3000 万个文件和 250 亿 token 的开源合成数据集，旨在复现 Phi-1.5 的训练数据以用于从零开始预训练大语言模型。