Hugging Face Blog·· 2025-12-11精选AI 评分65
llama.cpp 发布 Model Management 功能支持多模型动态切换
New in llama.cpp: Model Management
AI 导读
llama.cpp server 推出 router 模式,允许在不重启服务的情况下动态加载、卸载和切换多个模型。该功能采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型。用户可通过自动发现缓存或指定目录来管理 GGUF 文件,并支持按需加载、LRU 驱逐及请求路由,同时提供 Web UI 进行模型切换。
推荐理由
llama.cpp 新增 router 模式实现多模型动态加载与切换,无需重启服务即可管理本地 LLM。
来源:Hugging Face Blog · huggingface.co