跳到正文
原文
Hugging Face Blog·· 7 天前AI 评分42

Hugging Face 发布 LFM2.5-VL-DSpark 实验性草稿模型,推理速度最高提升 3.13 倍

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Hugging Face 推出针对视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型。该模型通过推测解码技术,在仅增加 8.9% 参数量的前提下,实现设备端最高 3.13 倍、H100 上 2.66 倍的解码加速。目前已支持 llama.cpp、MLX-VLM 和 SGLang,提供 Safetensors 和 GGUF 格式供开源部署。

来源:Hugging Face Blog · huggingface.co