跳到正文

#教程/实践

今日 6 条
3月11日周三
3月10日周二
3月9日周一
3月5日周四
3月4日周三
2月11日周三
1月22日周四
  1. Mistral AI62

    Mistral AI 分享 vLLM 内存泄漏调试深度解析

    Mistral AI 团队发布工程深度剖析文章,记录了在 vLLM 部署 Mistral Medium 3.1 模型时遭遇的内存泄漏排查过程。该问题仅在启用 Prefill/Decode 分离服务和 NIXL 传输时出现,表现为系统内存以每分钟 400 MB 的速度线性增长。

    推荐理由:详细记录了从 Python 层到内核层的内存泄漏排查过程,展示了在复杂依赖栈中定位隐蔽问题的具体工具链与方法。

12月4日周四
  1. Hugging Face Blog78

    Hugging Face 发布 hf-llm-trainer 技能以支持 Claude 等智能体自动微调开源 LLM

    Hugging Face 推出 `hf-llm-trainer` 技能,使 Claude Code、Codex 和 Gemini CLI 等编码智能体能通过自然语言指令自动执行大语言模型的微调任务。

    推荐理由:原文展示了通过自然语言指令让编码智能体完成从硬件选择到模型部署的全流程微调,提供了可复用的技能包配置与成本估算方法。

11月25日周二
  1. Hugging Face Blog60

    Tavily 分享构建 SOTA 深度研究智能体的技术经验

    Tavily 团队发布了关于构建 State-of-the-Art 深度研究智能体的技术复盘,介绍了其核心架构设计与工程原则。文章详细阐述了“上下文工程”策略,通过将工具输出蒸馏为反思而非直接传递原始数据,使 Token 消耗相比 Open Deep Research 降低了 66%,同时在 DeepResearch Bench 上取得了 SOTA 表现。

    推荐理由:Tavily 分享了构建深度研究智能体的工程经验,重点解析了通过上下文管理将 Token 消耗降低 66% 的具体方法。

11月17日周一
10月29日周三
  1. Hugging Face Blog40

    NVIDIA Isaac for Healthcare v0.4 发布 SO-ARM 手术机器人仿真到部署工作流

    NVIDIA Isaac for Healthcare v0.4 推出基于 SO-ARM 的端到端手术辅助机器人开发工作流,覆盖数据采集、训练与硬件部署。该流程采用 Sim2Real 混合训练策略,93% 以上数据由仿真生成,通过微调 GR00T N1.5 模型实现实时推理。开发者可在单台 DGX Spark 上完成全流程,显著降低医疗机器人研发门槛。

10月28日周二
10月21日周二
  1. Hugging Face Blog62

    Hugging Face 发布开源 OCR 模型选型与部署指南

    Hugging Face 发布指南帮助开发者选择和使用开源 OCR 模型。文章对比了 Chandra、OlmOCR-2、PaddleOCR-VL 等最新模型在表格处理、多语言支持及输出格式上的能力,并介绍了 OmniDocBenchmark 等评测基准。

    推荐理由:Hugging Face 官方指南系统梳理了主流开源 OCR 模型的能力差异、评测基准及本地与云端部署方案,为构建文档 AI 流水线提供了选型依据。

10月16日周四
10月15日周三
10月2日周四
9月29日周一
9月11日周四
  1. Hugging Face Blog65

    Hugging Face 详解 transformers 如何复用 OpenAI GPT-OSS 的 MXFP4 量化与并行技术

    Hugging Face 发布博客介绍 transformers 库为支持 OpenAI GPT-OSS 模型所做的多项核心升级,包括原生 MXFP4 量化、张量并行、专家并行及动态滑动窗口缓存等特性。

    推荐理由:原文详细拆解了 transformers 库为适配 GPT-OSS 所做的底层优化,提供了可直接复用的代码片段和性能基准数据。

9月2日周二
  1. Hugging Face Blog65

    Hugging Face 发布指南:在 ZeroGPU Spaces 中使用 PyTorch AoT 编译提升性能

    Hugging Face 发布技术指南,介绍如何在 ZeroGPU Spaces 中利用 PyTorch 的 ahead-of-time (AoT) 编译来优化模型推理速度。

    推荐理由:文章详细演示了如何在 ZeroGPU Spaces 中集成 PyTorch AoT 编译,提供了从基础配置到 FP8 量化及动态形状的高级优化代码与实测加速数据。

8月19日周二
8月18日周一
  1. Hugging Face Blog58

    Hugging Face 发布 CUDA 内核构建与生产级部署指南

    Hugging Face 发布了关于使用 kernel-builder 库构建和部署自定义 CUDA 内核的详细指南。文章演示了如何从零开始编写图像转灰度内核,将其注册为原生 PyTorch 算子,并通过 Nix 实现可复现构建。此外,还介绍了如何利用 Hugging Face Hub 进行多架构编译、语义化版本管理以及生成 Python wheels 以支持生产环境部署。

8月8日周五
8月7日周四
  1. Hugging Face Blog62

    TRL 新增视觉语言模型对齐支持:涵盖 MPO、GRPO 及 GSPO 等方法

    Hugging Face TRL 库新增对视觉语言模型(VLM)的多项对齐算法支持,包括混合偏好优化(MPO)、组相对策略优化(GRPO)和组序列策略优化(GSPO)。官方提供了相应的训练脚本、Notebook 示例以及 vLLM 集成方案,并实现了原生的监督微调(SFT)支持,帮助开发者更高效地进行多模态模型的后训练与对齐。

    推荐理由:原文提供了在 TRL 中实现 VLM 对齐的具体代码配置与脚本,读者可直接复用这些方法优化多模态模型性能。

8月1日周五
7月31日周四
7月25日周五
7月23日周三
  1. Hugging Face Blog61

    Hugging Face 发布 Flux 模型 LoRA 推理加速指南

    Hugging Face 博客发布了针对 Flux.1-Dev 模型的 LoRA 推理优化方案,通过组合 Flash Attention 3、torch.compile 和 FP8 量化技术,实现了约 2.3 倍的推理速度提升。

    推荐理由:提供了结合 Flash Attention 3、torch.compile 和 FP8 量化的 LoRA 热交换优化方案,解决了重编译瓶颈并给出了在消费级 GPU 上的具体实现路径。

7月22日周二
7月18日周五
7月17日周四
7月10日周四
  1. Hugging Face Blog65

    Hugging Face 分享构建官方 MCP Server 的技术实践与架构决策

    Hugging Face 发布博客文章,详细解析其官方 MCP Server(hf.co/mcp)的开发历程与技术选型。团队对比了 STDIO、HTTP with SSE 和 Streamable HTTP 三种传输方式,最终在生产环境中采用 Stateless 且 Direct Response 模式的 Streamable HTTP,以优化资源开销并支持动态工具配置。

    推荐理由:官方详解 MCP Server 构建中的传输协议选型与状态管理权衡,为开发者提供远程服务部署的实战参考。

7月9日周三
  1. Hugging Face Blog65

    Hugging Face 发布指南:利用 Gradio MCP Servers 为大语言模型扩展能力

    Hugging Face 发布教程介绍如何通过 Gradio 5.28.0+ 将 Hugging Face Spaces 转化为 MCP 服务器,从而让大语言模型获得图像编辑等新能力。文章以 Flux.1 Kontext[dev] 为例,详细演示了在 Cursor 中配置该 MCP 服务器的步骤,并指出用户可通过“MCP App Store”筛选兼容空间来快速扩展模型功能。

    推荐理由:原文演示了如何将 Hugging Face Spaces 上的 Gradio 应用作为 MCP 服务器接入 LLM,为开发者提供了扩展模型能力的具体操作路径。

7月8日周二