Hugging Face 公布 ICML 2026 论文复现黑客松结果:23% 论文存在被证伪主张
Hugging Face 发布 ICML 2026 Open Reproductions 挑战总结,1,221 名参与者利用编码智能体尝试复现会议中约三分之一的论文(2,226 篇)。
推荐理由:原文披露了大规模复现 ICML 论文的具体数据与发现,展示了智能体在科研验证中的能力边界及人类介入的关键作用。
Hugging Face 发布 ICML 2026 Open Reproductions 挑战总结,1,221 名参与者利用编码智能体尝试复现会议中约三分之一的论文(2,226 篇)。
推荐理由:原文披露了大规模复现 ICML 论文的具体数据与发现,展示了智能体在科研验证中的能力边界及人类介入的关键作用。
Hugging Face 推出离线 Top-K Logits 缓存与融合分块 KL 损失技术,解决大模型知识蒸馏的高显存痛点。该方法避免同时加载教师与学生模型及构建全词表矩阵,将单步训练峰值显存从约 250GB 降至 128GB。这一优化使长上下文修复可在单张 GPU 上运行,显著降低了大规模实验的成本门槛。
微软研究院推出开源框架 Orchard,其核心组件 Orchard Env 提供可复用的 Kubernetes 环境服务,支持跨任务域训练和评估智能体。
推荐理由:微软研究院开源了基于Kubernetes的Orchard框架,展示了小参数模型在软件工程等复杂任务中接近前沿系统的性能。
Google Research 推出 WAXAL,包含约1846小时ASR转录数据和565小时TTS高保真录音,覆盖27种撒哈拉以南非洲语言。该数据集采用 CC-BY-4.0 许可开源,由非洲学术与社区组织主导采集,旨在支持超1亿使用者的语音技术研发。
Hugging Face 推出 WebSight-v0.2 合成数据集,规模扩至 200 万对截图/HTML 样本并采用 Tailwind CSS。基于该数据微调的 Sightseer 视觉语言模型可将网页截图转换为功能完整的 HTML 代码,支持嵌入相似图像。
Upstage 于2023年9月发起 Open Ko-LLM Leaderboard,旨在建立透明、公平的韩语大模型评估生态。该平台采用 Ko-MMLU 等五项私有测试集以防止数据污染,上线五个月即收录超1,000个模型。KT 的 Mi:dm 7B 在7B参数以下模型中排名第一并开放使用,SOLAR 及基于 LLaMA2、Yi、Mistral 微调的模型表现强劲。
Hugging Face 发现 Open LLM Leaderboard 中多数模型在 DROP 基准的 f1-score 低于 10,主要源于归一化逻辑缺陷及生成停止符设置不当。具体表现为数字后接非空格字符导致匹配失败,以及使用句号作为停止符截断浮点数答案或引发长文本冗余。团队提出改用换行符作为结束标记以修正评分偏差。