AllenAI 发布 Olmo-core 3:面向大规模 MoE 的开源训练基础设施
AllenAI 发布 Olmo-core 3,这是一套专为扩展至万亿参数规模混合专家(MoE)模型设计的开源训练基础设施。该系统通过集成专家并行、流水线并行和分布式优化器等技术,在 NVIDIA B300 GPU 上实现了相比前代约 2.7 倍的训练吞吐量提升,并支持 MXFP8 低精度格式以进一步优化显存占用。
AllenAI 发布 Olmo-core 3,这是一套专为扩展至万亿参数规模混合专家(MoE)模型设计的开源训练基础设施。该系统通过集成专家并行、流水线并行和分布式优化器等技术,在 NVIDIA B300 GPU 上实现了相比前代约 2.7 倍的训练吞吐量提升,并支持 MXFP8 低精度格式以进一步优化显存占用。
微软研究院发布 Quine,这是一个结合生物学世界模型与交互式工具链的 AI 研究系统,旨在连接模型、科学工具、文献及研究人员。该系统在胰腺导管腺癌(PDAC)研究中应用,仅用一个周末即完成了从缩小化合物搜索空间到确定候选药物的过程,并验证了多个排名靠前的化合物能驱动肿瘤细胞状态转变。
推荐理由:微软研究院推出Quine,通过多模态世界模型与实验闭环加速生物发现,并在胰腺癌研究中验证了化合物筛选效率。
Microsoft Research 推出深度学习 DFT 泛函 Skala 1.1,其训练数据量较前代增加 2.5 倍。该模型在 GMTKN55 基准测试的 55 个类别中夺得 32 项第一,加权平均误差为 2.8 kcal/mol。Skala 现已支持 CP2K,并正集成至 Psi4、FHI-aims、ORCA 和 VASP 等计算化学软件中。
IBM 发布 Granite 4.1 系列大语言模型(3B、8B、30B),采用 Apache 2.0 许可证开源。该系列基于约 15T tokens 进行五阶段预训练,上下文窗口扩展至 512K,并通过监督微调和多阶段强化学习优化。其中 8B 稠密模型在指令遵循和工具调用等任务上表现匹敌甚至超越前代 32B MoE 模型,提供了可预测的延迟和更低成本的企业级解决方案。
推荐理由:原文详细拆解了从预训练到多阶段强化学习的全流程,展示了如何通过严格的数据工程让8B稠密模型在多项指标上匹敌32B MoE架构。
Hugging Face 推出 mmBERT,这是首个在性能上超越 XLM-R 的多语言编码器模型。该模型基于 ModernBERT 架构,使用超过 3T tokens 和 1800+ 种语言数据训练,包含 110M 参数的 base 版本。mmBERT 通过三阶段渐进式训练策略,显著提升了低资源语言的学习效率与多语言理解能力。
NVIDIA 发布包含法语、西班牙语等五种语言的 6 Million Multilingual Reasoning Dataset,并推出基于 Hybrid Transformer–Mamba 架构的 Nemotron Nano 2 9B 模型。该模型支持可配置 thinking budget,token 生成速度最高提升 6×,推理成本降低 60%,权重已在 Hugging Face 开源。
Hugging Face 开源 Kimina-Prover-RL 训练管线,基于 DeepSeek-R1 范式与 Verl 框架实现 Lean 4 定理证明。配套发布的 AI-MO/Kimina-Prover-RL-1.7B 在 MiniF2F 基准 Pass@32 达 76.63%,0.6B 版本达 71.30%,均创同尺寸开源模型新纪录。