IBM 等机构发布 Bamba-9B 混合 Mamba2 模型

IBM、普林斯顿大学、卡内基梅隆大学和伊利诺伊大学香槟分校联合推出 Bamba-9B，这是一款完全使用开放数据训练的混合 Mamba2 模型。在 vLLM 框架下，该模型相比标准 Transformer 实现了 2.5 倍吞吐量提升和 2 倍延迟加速。目前模型已支持 transformers、vLLM、TRL 和 llama.cpp，并公开了包含有状态数据加载器在内的训练与微调配方。