Hugging Face 解析 Open LLM Leaderboard 中 MMLU 评分差异原因

Hugging Face 团队分析了 Open LLM Leaderboard 上 MMLU 分数与论文数据不一致的原因，指出不同评估实现导致结果显著差异。文章对比了 EleutherAI Harness、Stanford HELM 和原始实现三种方法在提示词构造及概率计算上的区别，展示了同一模型在不同方法下的得分变化。最终确认社区维护的评估库更新后已对齐原始实现，并将重新运行排行榜以修正数据。