跳到正文
原文
Hugging Face Blog·· 2025-12-11精选AI 评分65

llama.cpp 发布 Model Management 功能支持多模型动态切换

New in llama.cpp: Model Management

AI 导读

llama.cpp server 推出 router 模式,允许在不重启服务的情况下动态加载、卸载和切换多个模型。该功能采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型。用户可通过自动发现缓存或指定目录来管理 GGUF 文件,并支持按需加载、LRU 驱逐及请求路由,同时提供 Web UI 进行模型切换。

推荐理由

llama.cpp 新增 router 模式实现多模型动态加载与切换,无需重启服务即可管理本地 LLM。

来源:Hugging Face Blog · huggingface.co