Hugging Face 发布 DeDLOC 算法实现互联网协同训练语言模型

Hugging Face 联合多家机构提出 DeDLOC 方法，旨在利用志愿者分散的 GPU 资源进行大规模语言模型预训练。团队组织40名志愿者成功预训练了孟加拉语模型 sahajBERT，其下游任务性能接近使用数百个高端加速器的更大规模模型。该实验证明了在普通网络环境下通过自适应梯度聚合实现高效分布式训练的潜力，相关代码已集成至 Hivemind 库。