跳到正文
原文
Hugging Face Blog·· 2026-04-29精选AI 评分70

IBM Granite 4.1 LLMs 技术详解:构建过程与性能表现

Granite 4.1 LLMs: How They’re Built

AI 导读

IBM 发布 Granite 4.1 系列大语言模型(3B、8B、30B),采用 Apache 2.0 许可证开源。该系列基于约 15T tokens 进行五阶段预训练,上下文窗口扩展至 512K,并通过监督微调和多阶段强化学习优化。其中 8B 稠密模型在指令遵循和工具调用等任务上表现匹敌甚至超越前代 32B MoE 模型,提供了可预测的延迟和更低成本的企业级解决方案。

推荐理由

原文详细拆解了从预训练到多阶段强化学习的全流程,展示了如何通过严格的数据工程让8B稠密模型在多项指标上匹敌32B MoE架构。

来源:Hugging Face Blog · huggingface.co