AllenAI 发布 Olmo-core 3：面向大规模 MoE 的开源训练基础设施

AllenAI 发布 Olmo-core 3，这是一套专为扩展至万亿参数规模混合专家（MoE）模型设计的开源训练基础设施。该系统通过集成专家并行、流水线并行和分布式优化器等技术，在 NVIDIA B300 GPU 上实现了相比前代约 2.7 倍的训练吞吐量提升，并支持 MXFP8 低精度格式以进一步优化显存占用。