Hugging Face Blog·· 2024-08-12精选AI 评分73
TII 发布首个强性能无注意力机制 7B 模型 Falcon Mamba
Welcome Falcon Mamba: The first strong attention-free 7B model
AI 导读
Technology Innovation Institute (TII) 发布了基于 Mamba 架构的 7B 参数大语言模型 Falcon Mamba，采用 TII Falcon Mamba 7B License 1.0 协议开源。
推荐理由
TII 在 Hugging Face 博客详细披露了 Falcon Mamba 的架构设计、训练数据及基准测试对比，展示了纯 SSM 模型在长序列处理上的效率优势。
来源：Hugging Face Blog · huggingface.co