Hugging Face Blog·· 2025-11-19精选AI 评分63
ServiceNow AI 发布 Apriel-H1:通过蒸馏将 15B 推理模型转为 Mamba 混合架构
Apriel-H1: The Surprising Key to Distilling Efficient Reasoning Models
AI 导读
ServiceNow AI 团队发布 Apriel-H1 系列模型,成功将 15B 全注意力推理模型蒸馏为 Mamba 混合架构,在保持推理质量的同时实现 2.1 倍吞吐量提升。
推荐理由
揭示了蒸馏推理模型时选择高质量推理轨迹而非预训练数据的关键洞察,并提供了可复现的分阶段混合架构转换方法。
来源:Hugging Face Blog · huggingface.co