跳到正文

全部动态

今日 42 条
8月26日周一
8月22日周四
  1. Hugging Face Blog48

    Hugging Face 五大被低估工具详解

    Hugging Face Hub 推出 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 五项功能,助力构建 AI 解决方案。ZeroGPU 基于 Nvidia A100 提供免费 GPU 配额,Nomic Atlas 支持语义搜索可视化。这些工具通过 Reddit 数据源案例演示了如何低成本实现自动更新的语义搜索应用。

8月21日周三
8月20日周二
8月19日周一
8月15日周四
8月14日周三
  1. Hugging Face Blog60

    Hugging Face 复盘 Infini-attention 实验:为何其长上下文性能随压缩次数下降

    Hugging Face 团队分享了复现 Google Infini-attention 的实验结果,发现随着内存压缩次数增加,模型在长上下文任务中的性能显著下降且不可靠。

    推荐理由:作者详细记录了复现Infini-attention的调试过程与失败原因,揭示了长上下文扩展中压缩记忆的性能瓶颈及收敛难点。

8月13日周二
  1. Hugging Face Blog45

    ggml 入门指南:轻量级 Transformer 推理库核心概念与编译

    ggml 是一个专注于 Transformer 推理的开源 C/C++ 机器学习库,被 llama.cpp、Ollama 等项目用于实现端侧 LLM。其核心优势在于极简主义(少于 5 个文件)、轻量级(二进制小于 1MB)及支持 x86_64、ARM、Apple Silicon 等多硬件后端。开发者需理解 ggml_context、ggml_cgraph 等底层概念以进行高效计算图调度与内存管理。

8月12日周一
8月8日周四
  1. Hugging Face Blog65

    Hugging Face 宣布收购 XetHub 以优化大文件存储与协作

    Hugging Face 正式宣布收购西雅图初创公司 XetHub,旨在将其技术整合至 Hub 以替代 Git LFS 作为存储后端。XetHub 团队由前 Apple ML 基础设施成员组成,其核心技术支持 TB 级仓库的 chunked files 和去重功能,能显著减少如 Parquet 文件或 GGUF 模型更新时的重复上传量。

    推荐理由:原文披露了收购动机及具体技术场景,读者可据此理解 Hugging Face 如何通过替换存储后端解决超大模型文件的版本管理痛点。

8月7日周三
8月6日周二
  1. Hugging Face Blog37

    Hugging Face 与 Albumentations AI 推出 TextImage 文档图像增强技术

    Hugging Face 联合 Albumentations AI 发布 TextImage 数据增强管线,专为视觉语言模型微调设计。该多模态方法通过随机插入、删除或交换文本并同步修复图像背景,在保留语义的同时生成合成训练数据。开发者可通过 `albumentations` 库调用,支持 IDL 和 PDFA 数据集以解决小样本下的 OCR 精度问题。

  2. Hugging Face Blog23

    Hugging Face 2024年安全功能亮点

    Hugging Face 发布2024年安全功能概览,涵盖细粒度令牌、双因素认证及提交签名等默认防护机制。平台通过 ClamAV 和 picklescan 实现自动化恶意软件与密钥扫描,保障 Hub 用户资产安全。企业版额外提供 SSO 单点登录及资源组隔离等高级控制选项。

7月31日周三
7月30日周二
7月29日周一
7月25日周四
7月24日周三
  1. Mistral AI75

    Mistral AI 发布 Mistral Large 2:1230 亿参数,支持 128k 上下文与多语言

    Mistral AI 正式发布新一代大模型 Mistral Large 2,拥有 1230 亿参数并支持 128k 上下文窗口。该模型针对单节点推理优化,在多语言处理、代码生成及逻辑推理方面性能显著提升,并在 MMLU 等基准测试中达到新的高度。

    推荐理由:官方公布 Mistral Large 2 的架构参数、多语言支持及在主流基准测试中的性能表现,为评估其成本效益和实际部署能力提供直接依据。

7月23日周二
  1. Hugging Face Blog95

    Hugging Face 上线 Llama 3.1 405B/70B/8B 模型及全栈集成指南

    Hugging Face 正式上架 Meta 发布的 Llama 3.1 系列模型,包含 8B、70B 和 405B 三种尺寸的基座与指令微调版本,以及 Llama Guard 3 和 Prompt Guard 安全模型。

    推荐理由:原文详细列出了 Llama 3.1 各尺寸模型的显存需求、量化方案及微调代码,为开发者评估部署成本和集成路径提供了具体参考。

7月22日周一
  1. Hugging Face Blog68

    Hugging Face 详解 WWDC 24 Core ML 新特性运行 Mistral 7B

    Hugging Face 发布教程,指导开发者利用 WWDC 24 引入的 Core ML 新特性在 Mac 上运行 Mistral 7B 模型。通过 Swift Tensor、Stateful Buffers 和块量化技术,该方案能将 70 亿参数模型的内存占用降至 4GB 以下。

    推荐理由:原文详细演示了利用WWDC 24新特性将Mistral 7B转换为Core ML模型并实现端侧高效推理的完整流程。

7月18日周四
  1. Mistral AI82

    Mistral AI 发布与 NVIDIA 合作的 12B 参数模型 Mistral NeMo

    Mistral AI 发布 Mistral NeMo,这是一款与 NVIDIA 合作开发的 12B 参数模型,拥有高达 128k tokens 的上下文窗口。该模型在推理、世界知识和编码准确性方面在其尺寸类别中处于领先地位,并作为 Mistral 7B 的即插即用替代品提供预训练基座和指令微调检查点,采用 Apache 2.0 许可证。

    推荐理由:Mistral NeMo 作为 Mistral 7B 的即插即用替代方案,提供了 128k 上下文窗口和 Apache 2.0 许可,适合需要多语言支持和高效代码压缩的研究者与开发者。

  2. OpenAI News26

    ChatGPT Enterprise 新增合规与管理工具

    OpenAI 为 ChatGPT Enterprise 推出 Compliance API 集成、SCIM 及 GPT controls 等合规与管理工具。这些新功能旨在支持大规模环境下的合规计划、数据安全及用户访问控制,帮助企业更好地管理企业级 AI 应用的安全与权限。

  3. Hugging Face Blog65

    Hugging Face TGI 发布 Multi-LoRA 服务功能

    Hugging Face 为 Text Generation Inference (TGI) 推出 Multi-LoRA serving 功能,支持在单次部署的基础模型上动态加载并服务多达 30 个 LoRA 适配器。

    推荐理由:TGI 新增 Multi-LoRA 功能,允许在单一基础模型部署中动态加载多个微调适配器,显著降低多模型服务的运维成本与复杂度。

7月17日周三
7月16日周二
  1. Mistral AI62

    Mistral AI 发布 Codestral Mamba:基于 Mamba 架构的代码模型

    Mistral AI 发布了 Codestral Mamba,这是继 Mixtral 系列后探索新架构的又一成果。该模型由 Albert Gu 和 Tri Dao 协助设计,利用 Mamba 架构实现线性时间推理和无限长度序列建模的理论能力。

    推荐理由:Mistral AI 发布了基于 Mamba 架构的 Codestral Mamba,该模型在代码生成和推理能力上可与 SOTA Transformer 模型媲美,且支持线性时间推理。

7月11日周四