跳到正文
原文
Hugging Face Blog·· 2024-10-16AI 评分42

Hugging Face 修复 transformers Trainer 梯度累积损失计算错误

Fixing Gradient Accumulation

AI 导读

Hugging Face 修复了 transformers Trainer 中梯度累积导致损失计算与全批量训练不一致的问题。该缺陷源于默认损失函数未正确按非填充 token 总数归一化,现通过更新 ForCausalLMLoss 逻辑及新增自定义 loss_function API 解决。用户可通过从 main 分支安装获取修复,确保因果语言模型等任务在梯度累积下的数学等价性。

来源:Hugging Face Blog · huggingface.co