Hugging Face 发布 LFM2.5-VL-DSpark 实验性草稿模型，推理速度最高提升 3.13 倍
Hugging Face 推出针对视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型。该模型通过推测解码技术，在仅增加 8.9% 参数量的前提下，实现设备端最高 3.13 倍、H100 上 2.66 倍的解码加速。目前已支持 llama.cpp、MLX-VLM 和 SGLang，提供 Safetensors 和 GGUF 格式供开源部署。
#端侧
#端侧
今日 0 条Hugging Face BlogAI 评分4242
Hugging Face Blog精选AI 评分6565 Liquid AI 发布 LFM2.5-DSpark 草稿模型，实现最高 3.2x 推理加速
Liquid AI 发布适用于 LFM2.5 系列模型的 DSpark 草稿检查点，通过推测解码技术在不改变输出质量的前提下显著提升推理速度。该方案在 H100 GPU 上最高实现 3.18x 吞吐提升，在 M4 Max MacBook Pro 端侧最高实现 2.87x 加速，并已将 llama.cpp 和 SGLang 的集成代码开源。
推荐理由：原文提供了DSpark草稿模型在GPU和端侧的具体加速数据及开源集成方案，读者可据此评估其在本地部署中的性能收益。
Hugging Face Blog精选AI 评分9292 Meta 发布 Muse Glimmer：面向本地智能体的开源多模态模型
Meta 发布 Muse Glimmer，这是一个专为本地智能体用例设计的 30B 参数多模态模型，采用 Apache 2.0 许可证开源。该模型由 Muse 蒸馏而来，包含 2B ViT 视觉编码器和 28B 文本解码器，支持图像、视频输入及多模态工具调用。
推荐理由：原文给出了30B参数模型的架构细节、基准测试数据及在主流推理框架中的Day-0支持，读者可据此评估其在本地智能体场景下的实际部署能力。
Google ResearchAI 评分4545 Google 在 Pixel 上通过冻结 Multi-Token Prediction 加速 Gemini Nano v3
Google 推出新架构，将 Multi-Token Prediction (MTP) 头集成到冻结的 Gemini Nano v3 模型中，已在 Pixel 9/10 系列上线。该方案利用零拷贝架构复用主模型 KV cache，节省 130MB 内存，使文本生成速度提升超 50% 且保持输出完全一致。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemma 4 12B：统一无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，这是一款旨在笔记本电脑上运行的高性能多模态模型。它采用独特的无编码器统一架构，将视觉和音频输入直接融入 LLM 主干网络，支持原生音频输入。
推荐理由：该模型采用无编码器统一架构，在16GB显存设备上实现接近26B MoE的多模态推理能力，适合关注本地部署效率的开发者。
Hugging Face Blog精选AI 评分7575 Holo3.1 系列模型发布：支持快速本地推理的计算机使用智能体
Hcompany 发布 Holo3.1 系列计算机使用模型，旨在提升在 Web、桌面和移动环境以及不同 Agent 框架下的鲁棒性。该系列包含 0.8B、4B、9B 和 35B-A3B 四种尺寸，并首次提供 FP8、Q4 GGUF 和 NVFP4 量化检查点以支持本地推理。
推荐理由：原文给出了跨环境鲁棒性提升及首次发布的量化权重，读者可据此评估本地化部署的可行性与性能损耗。
Google DeepMind精选AI 评分9090 Google DeepMind 发布 Gemma 4：号称每字节性能最强的开源模型家族
Google DeepMind 正式推出 Gemma 4 系列开源大模型，包含 E2B、E4B、26B MoE 和 31B Dense 四种规格，采用 Apache 2.0 许可证。
推荐理由：Google DeepMind 发布 Gemma 4 系列开源模型，提供从移动端到工作站的多种尺寸及 Apache 2.0 许可，展示了其在智能体工作流和边缘计算上的最新进展。
Hugging Face Blog精选AI 评分9696 Gemma 4 系列多模态模型发布
Gemma 4 系列多模态模型正式发布，包含 E2B、E4B、12B Unified、31B 和 26B A4B 五种尺寸，支持图像、文本和音频输入，采用 Apache 2.0 许可证。
推荐理由：原文给出了五种尺寸的多模态架构细节与跨框架部署方案，读者可据此评估其在端侧推理和智能体工作流中的实际可用性。
Mistral AI精选AI 评分8787 Mistral AI 发布 Mistral 3 系列开源模型
Mistral AI 正式推出下一代模型家族 Mistral 3，包括 Mistral Large 3（41B 激活/675B 总参数的稀疏 MoE）以及 Ministral 3 系列（3B、8B、14B 密集模型）。
推荐理由：官方发布了包含稀疏 MoE 大模型和密集小模型的 Mistral 3 系列，全部采用 Apache 2.0 协议开源并支持多模态与推理能力。
Hugging Face BlogAI 评分5252 IBM 发布 Granite 4.0 Nano 系列小参数模型
IBM 发布 Granite 4.0 Nano 系列模型，包含 1B 和 350M 参数的混合架构及传统 Transformer 版本，专为边缘和端侧应用设计。该系列采用 Apache 2.0 许可证开源，支持 vLLM、llama.cpp 和 MLX 等运行时，并基于超过 15T tokens 的数据训练，旨在证明无需数百亿参数也能构建高效实用的模型。
Hugging Face Blog精选AI 评分8080 Google 发布 EmbeddingGemma：面向端侧的高效多语言嵌入模型
Google DeepMind 发布 EmbeddingGemma，这是一款拥有 308M 参数、支持 100 多种语言的开源多语言文本嵌入模型。该模型基于 Gemma3 架构并采用双向注意力机制，量化后内存占用低于 200 MB，在 MTEB 排行榜上位居同尺寸纯文本模型前列。
推荐理由：原文展示了308M参数模型在MMTEB上的表现及多框架集成方案，读者可据此评估其在移动端RAG和检索任务中的落地可行性。
Hugging Face Blog精选AI 评分8484 Gemma 3n正式登陆开源生态，支持transformers、MLX等主流框架
Gemma 3n现已全面支持transformers、timm、MLX、llama.cpp、Ollama等主流开源库，实现本地化多模态运行。该模型包含E2B和E4B两种规格，通过Per-Layer Embeddings技术将实际5B/8B参数的显存占用降至2GB/3GB，并首次引入MobileNet-v5视觉编码器与USM音频编码器。
推荐理由：原文详细列出了Gemma 3n在主流开源库中的集成方式及显存优化原理，为开发者提供了从推理到微调的完整落地路径。
Hugging Face BlogAI 评分4848 Hugging Face 发布 Falcon-Edge：基于 BitNet 架构的 1.58bit 可微调语言模型系列
Hugging Face 推出 Falcon-Edge 系列，这是基于 BitNet 架构的 1.58bit 三元权重语言模型。该系列提供 1B 和 3B 参数版本，包含基础与指令微调模型，并支持 bfloat16、原生 BitNet 及预量化变体以方便微调。Falcon-Edge 在同等规模模型中表现优异，旨在实现边缘设备上的高效部署。
Hugging Face Blog精选AI 评分7878 Hugging Face 发布 SmolVLM2 系列模型，支持全设备视频理解
Hugging Face 发布 SmolVLM2 系列模型，包含 2.2B、500M 和 256M 三种参数规模，旨在让视频理解能力在所有设备上运行。SmolVLM2 2.2B 在 Video-MME 基准测试中表现优于现有 2B 级模型，而 500M 和 256M 版本则提供了极小的内存占用。
推荐理由：原文给出了三种参数规模的视频理解模型及端侧部署方案，读者可以据此评估小模型在本地设备上的实际可用性。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 SmolVLM-256M 与 SmolVLM-500M 超小型视觉语言模型
Hugging Face 推出 SmolVLM-256M 和 SmolVLM-500M，其中 256M 版本号称是全球最小的视觉语言模型（VLM）。新模型采用更小的 SigLIP base patch-16/512 视觉编码器以支持更大图像分辨率，并优化了 tokenization 策略，在 transformers、MLX 和 ONNX 中可直接加载运行。
推荐理由：官方发布了256M和500M参数的SmolVLM，展示了在极小参数量下保持多模态性能的技术权衡与优化路径。
Mistral AI精选AI 评分7575 Mistral AI 发布 Ministral 3B 和 Ministral 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出两款新模型 Ministral 3B 和 Ministral 8B，旨在优化设备端和边缘计算场景。
推荐理由：官方公布了两款小参数模型的基准表现与定价，为边缘计算场景提供了具体的选型参考。
Hugging Face Blog精选AI 评分9292 Hugging Face 联合 Meta 发布 Llama 3.2 多模态与小型模型
Hugging Face 宣布上线 Llama 3.2 系列共10个开放权重模型，包含支持视觉理解的 11B 和 90B 多模态版本，以及适用于端侧运行的 1B 和 3B 文本模型。其中 3B Instruct 版本在 IFEval 指令遵循基准上表现优异，且所有模型均已完成 Transformers、TGI 等主流框架的集成适配。需注意欧盟地区用户无法获得多模态版本的商业使用授权。
推荐理由：原文详细列出了Llama 3.2系列模型的参数规模、基准测试数据及在Hugging Face生态中的部署方法，为开发者评估其视觉理解与端侧运行能力提供了直接依据。
Hugging Face Blog精选AI 评分7878 Google 发布 Gemma 2 2B、ShieldGemma 及 Gemma Scope
Google 在 Hugging Face 博客宣布扩展 Gemma 模型家族，新增 Gemma 2 2B、ShieldGemma 安全分类器和 Gemma Scope 稀疏自编码器套件。
推荐理由：原文详细展示了 Gemma 2 2B 在端侧部署与辅助生成中的具体用法，以及 ShieldGemma 和 Gemma Scope 的开源特性，为开发者提供了可落地的技术参考。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 SmolLM 系列小语言模型
Hugging Face 推出 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三种参数规模，并同步开源了用于训练的 SmolLM-Corpus 数据集。
推荐理由：官方开源了SmolLM系列小模型及其高质量训练语料，展示了在端侧设备上的优异性能与数据构建细节。