跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–1 条 · 共 1 条
7月29日周三
  1. Berkeley AI Research62

    Berkeley AI Research 提出 K-Search MLX 后端实现 CUDA 到 Apple Silicon 的内核优化迁移

    Berkeley AI Research 与 IBM Research 合作扩展了 K-Search 框架,新增 MLX 后端以自动将 CUDA 内核优化知识迁移至 Apple Silicon。

    推荐理由:原文展示了通过结构化翻译层将 CUDA 内核知识迁移至 Apple Silicon 的方法,并给出了在 Attention 和 Mamba SSM 内核上的具体性能提升数据。