Hugging Face Blog·· 2024-10-16AI 评分42
Hugging Face 修复 transformers Trainer 梯度累积损失计算错误
Fixing Gradient Accumulation
AI 导读
Hugging Face 修复了 transformers Trainer 中梯度累积导致损失计算与全批量训练不一致的问题。该缺陷源于默认损失函数未正确按非填充 token 总数归一化,现通过更新 ForCausalLMLoss 逻辑及新增自定义 loss_function API 解决。用户可通过从 main 分支安装获取修复,确保因果语言模型等任务在梯度累积下的数学等价性。
来源:Hugging Face Blog · huggingface.co