跳到正文

#部署/工程

今日 3 条
今天10月2日周五
  1. AWS Machine Learning Blog28

    Amazon Bedrock 在首尔和新加坡推出 Anthropic Claude Opus 5 与 Sonnet 5 的区域内部推理

    Amazon Bedrock 在首尔支持 Claude Opus 5 和 Sonnet 5,在新加坡支持 Sonnet 5,提供区域内部推理。请求数据全程保留在指定 AWS Region 内,满足金融、医疗等行业的严格数据驻留要求。开发者可通过 bedrock-runtime 端点调用 Anthropic Messages API 或 InvokeModel/Converse API 集成模型。

  2. AWS Machine Learning Blog42

    AWS 使用上下文多臂老虎机优化 Amazon Payments 转化漏斗

    Amazon Payments 在 Amazon SageMaker AI 上部署多目标上下文多臂老虎机(MAB)以个性化产品获取漏斗。七周 A/B 测试显示,特定客户群体最终转化率提升高个位数百分比,但另一群体无改善,表明瓶颈在于内容而非模型。该方案采用 LinUCB 算法,基于行为信号向量进行实时决策与探索平衡。

10月1日周四
  1. AWS Machine Learning Blog25

    uniopen 定制 Amazon Nova 2 Lite 实现零售内容审核生产部署

    uniopen 通过监督微调将 Amazon Nova 2 Lite 适配至其零售审核策略,并在 Amazon SageMaker AI 中完成训练与部署。该方案结合提示词优化,在包含 737 个对话窗口的测试集上评估行为分类与主体识别性能。架构采用人工验证反馈闭环,利用硬/软门控机制控制模型晋升,确保生产环境下的合规性与稳定性。

9月29日周二
9月23日周三
9月22日周二
  1. NVIDIA Blog33

    NVIDIA 推出 DSX Ready 认证计划,涵盖电池储能与冷却分配单元

    NVIDIA 发布 DSX Ready 认证计划,旨在验证符合其 AI 工厂参考设计的电源与冷却产品。首批类别包括电池储能系统(BESS)和冷却分配单元(CDU),Hitachi Energy、Tesla、LG Electronics 等厂商的产品已获认证。该计划通过标准化测试降低集成风险,帮助构建者更自信地评估并部署基础设施组件。

  2. NVIDIA Blog18

    NVIDIA 推动埃及 AI 生态迈向生产规模

    NVIDIA 在埃及举办活动展示其AI生态从赋能转向执行,Deep Learning Institute学习者数量一年内增长超十倍。Hassan Allam Utilities与A15达成约4亿美元数据中心投资协议,Cassava Technologies计划在南非及埃及等地部署AI工厂,潜在投资达7.2亿美元。

9月16日周三
9月10日周四
  1. Hugging Face Blog68

    Hugging Face 演示基于 Jobs 和 LoRA 的异步 GRPO 训练优化

    Hugging Face 博客介绍了在 HF Jobs 上使用 AsyncGRPOTrainer 进行 LoRA 微调的实践方案。该方案利用 Storage Bucket 挂载实现训练器与 vLLM 副本间的适配器同步,无需 NCCL 通信。

    推荐理由:原文展示了利用存储桶同步LoRA适配器以解耦训练与推理的架构,并提供了通过指标分析将训练提速近4倍的具体调优路径。

8月21日周五
8月18日周二
8月11日周二
  1. Mistral AI50

    Mistral 推出区域推理端点、优先层级并支持 GLM-5.2 等第三方开源模型

    Mistral 正式推出 Mistral Regional Endpoints 和处于公开预览阶段的 Mistral Priority Tier,提供欧洲或美国区域选择及 SLA 保障。平台开始支持 Z.ai 的 GLM-5.2 等第三方开源模型,使其运行于相同的区域控制与服务承诺下。Mistral 还组建联盟锁定长期算力,计划到 2030 年建成高达 1 GW 容量以强化 AI 主权。

7月30日周四
7月29日周三
  1. Berkeley AI Research62

    Berkeley AI Research 提出 K-Search MLX 后端实现 CUDA 到 Apple Silicon 的内核优化迁移

    Berkeley AI Research 与 IBM Research 合作扩展了 K-Search 框架,新增 MLX 后端以自动将 CUDA 内核优化知识迁移至 Apple Silicon。

    推荐理由:原文展示了通过结构化翻译层将 CUDA 内核知识迁移至 Apple Silicon 的方法,并给出了在 Attention 和 Mamba SSM 内核上的具体性能提升数据。

7月8日周三
  1. Hugging Face Blog78

    Hugging Face 发布 vLLM transformers 后端原速支持

    Hugging Face 宣布 transformers 库的 vLLM 建模后端现已实现与 vLLM 原生手写实现相当或更快的推理速度。用户只需添加 --model-impl transformers 标志,即可在无需修改代码的情况下利用 vLLM 的连续批处理和自定义注意力内核进行高效推理。

    推荐理由:原文展示了通过单一参数即可让 transformers 模型在 vLLM 中达到原生推理速度,消除了手动移植代码的需求。

7月7日周二
  1. Hugging Face Blog66

    微软发布 Foundry Managed Compute 并集成 Hugging Face 模型目录

    微软在 Build 2026 大会上发布 Foundry Managed Compute,并推出包含每周更新的 Hugging Face 精选模型的目录。该服务提供一键部署功能,支持 vLLM、SGLang 等运行时,自动处理容器更新和安全补丁,同时保持与付费令牌和预置吞吐量相同的端点、SDK 和计费体验。

    推荐理由:原文详细说明了托管计算平台的模型筛选流程、自动运维机制及统一接口,为评估企业级开源模型落地提供了具体参考。

7月6日周一
  1. Hugging Face Blog65

    Hugging Face Kernels 项目发布重大更新

    Hugging Face 宣布对其 Kernels 项目进行重大更新,包括在 Hub 上引入新的“kernel”仓库类型以支持加速器与操作系统信息的展示。此次更新增强了安全性,引入了受信任发布者机制和代码签名功能,并重构了 kernels 与 kernel-builder 的 CLI 工具链。

    推荐理由:原文详细说明了 Kernels 项目引入新仓库类型、增强安全机制及优化 CLI 的具体变化,为开发者提供了评估现有工作流迁移成本的依据。

6月26日周五
  1. Hugging Face Blog68

    Hugging Face 教程:用一条命令在 HF Jobs 上运行 vLLM 服务器

    Hugging Face 发布教程,指导用户通过 `hf jobs run` 命令在 HF Jobs 基础设施上快速启动私有且兼容 OpenAI API 的 vLLM 服务器。

    推荐理由:原文提供了在 Hugging Face Jobs 上通过单条命令快速启动 vLLM 服务的具体步骤、代码示例及与 Inference Endpoints 的选型对比,适合需要临时测试或批量生成模型的开发者参考。

6月25日周四
6月23日周二
  1. Hugging Face Blog62

    在 Transformers.js 中实验跨源存储 API 以优化浏览器端缓存

    Transformers.js 正在实验性地集成 Chrome 团队提出的跨源存储(Cross-Origin Storage, COS)API,旨在解决不同 Web 应用间共享大型 AI 模型和 Wasm 运行时文件时的重复下载与存储隔离问题。

    推荐理由:文章详细演示了如何利用跨源存储 API 解决浏览器端 AI 模型重复下载问题,提供了 Transformers.js 的具体集成代码与隐私控制策略。

6月13日周六
6月11日周四
  1. Hugging Face Blog61

    PyTorch Profiling 系列第二篇:从 nn.Linear 到融合 MLP 的内核解析

    Hugging Face 发布 PyTorch Profiling 教程第二部分,深入解析从 nn.Linear 到多层感知机(MLP)的性能剖析。文章展示了 bias 加法如何通过 epilogue 融入 GEMM 内核,以及 torch.compile 如何将 GeLU 和乘法操作融合为单个 Triton 内核以减少 HBM 往返。

    推荐理由:通过对比 eager、compile 和手写 kernel 的 profiler trace,揭示了 PyTorch 中算子融合与内存访问优化的具体机制及权衡。

6月9日周二
5月29日周五
5月27日周三
  1. Hugging Face Blog80

    TRL 发布 Delta Weight Sync 方案以优化异步 RL 权重同步

    Hugging Face 在 TRL 中实现了 Delta Weight Sync 机制,通过仅传输变化的稀疏权重并将文件上传至 Hub Bucket,大幅降低异步强化学习中的带宽需求。在 Qwen3-0.6B 模型上,每步负载从 1.2 GB 降至 20-35 MB,且支持训练器与推理引擎在不同网络环境下解耦运行。

    推荐理由:原文给出了基于稀疏权重同步的开源实现与实测数据,读者可以据此判断如何低成本构建跨地域异步强化学习训练架构。

5月14日周四
  1. Hugging Face Blog65

    Hugging Face 详解连续批处理中的异步化原理与实现

    Hugging Face 发布技术博客,解释如何通过分离 CPU 和 GPU 工作负载来大幅提升 LLM 推理性能。文章指出同步批处理中 CPU 和 GPU 轮流空闲导致约 24% 的时间浪费,并介绍了使用 CUDA streams 和 events 构建异步流水线的方法。

    推荐理由:原文详细拆解了利用 CUDA streams 和 events 实现异步批处理的底层逻辑,提供了消除 CPU/GPU 等待间隙的具体工程方案。

5月12日周二
5月7日周四
4月29日周三
4月27日周一
  1. Mistral AI68

    Mistral AI 发布 Workflows 公共预览版:面向企业的 AI 编排层

    Mistral AI 推出 Workflows 公共预览版,作为 Studio 的一部分提供企业级 AI 编排能力。该工具基于 Temporal 引擎构建,支持 Python SDK 开发,具备持久执行、全链路可观测性及单行代码实现的人工审批暂停功能。

    推荐理由:原文展示了企业级AI编排层如何解决生产环境中的持久性、可观测性和人工审批痛点,为开发者提供了从原型到落地的具体路径。

4月1日周三
  1. Hugging Face Blog60

    Hugging Face 推出 gradio.Server 支持任意自定义前端连接 Gradio 后端

    Hugging Face 发布 gradio.Server,这是一个基于 FastAPI 扩展的新功能,允许开发者使用 React、Svelte 或纯 HTML/JS 等任意前端框架,同时复用 Gradio 的队列系统、并发控制、MCP 支持和 Spaces 上的 ZeroGPU 基础设施。

    推荐理由:gradio.Server 允许开发者在保留 Gradio 队列和 ZeroGPU 等后端能力的同时使用任意前端框架,解决了自定义 UI 需脱离 Gradio 的痛点。

3月25日周三
3月21日周六
  1. Hugging Face Blog73

    Hugging Face 发布一天内构建领域专用嵌入模型的教程

    Hugging Face 联合 NVIDIA 发布了一套在单 GPU 上一天内微调领域专用嵌入模型的完整教程与开源配方。该流程利用 NeMo Data Designer 自动生成合成训练数据,结合硬负例挖掘和对比学习优化检索性能,并支持通过 ONNX/TensorRT 导出及 NVIDIA NIM 部署为 OpenAI 兼容 API。

    推荐理由:原文提供了从文档生成到模型部署的完整六步流程及真实企业案例,读者可据此评估该方案在特定垂直领域的落地可行性。

1月22日周四
  1. Mistral AI62

    Mistral AI 分享 vLLM 内存泄漏调试深度解析

    Mistral AI 团队发布工程深度剖析文章,记录了在 vLLM 部署 Mistral Medium 3.1 模型时遭遇的内存泄漏排查过程。该问题仅在启用 Prefill/Decode 分离服务和 NIXL 传输时出现,表现为系统内存以每分钟 400 MB 的速度线性增长。

    推荐理由:详细记录了从 Python 层到内核层的内存泄漏排查过程,展示了在复杂依赖栈中定位隐蔽问题的具体工具链与方法。

11月22日周六