Hugging Face 更新内容指南与政策
Hugging Face 发布更新后的内容指南与政策,旨在支持开放、协作且负责任的机器学习社区。新政策重点强调“同意”作为核心价值,以应对 AI 技术对用户隐私、形象及权利带来的新挑战。平台通过跨团队专家协作制定规则,并鼓励利用 Community Tab 促进用户间的协作解决冲突。
Hugging Face 发布更新后的内容指南与政策,旨在支持开放、协作且负责任的机器学习社区。新政策重点强调“同意”作为核心价值,以应对 AI 技术对用户隐私、形象及权利带来的新挑战。平台通过跨团队专家协作制定规则,并鼓励利用 Community Tab 促进用户间的协作解决冲突。
Livebook 演示了如何将基于 Whisper 模型的音频转文字聊天应用部署到 Hugging Face Spaces,全程耗时不足 15 分钟。该案例展示了 Elixir 机器学习生态与 Hugging Face 的深度集成,包括 Bumblebee 库复用 Transformers 架构及 Tokenizers 绑定。
Hugging Face 宣布 AMD 加入其硬件合作伙伴计划,双方将合作优化 AMD CPU 和 GPU 上的 Transformer 性能。初期测试显示,AMD MI250 训练 BERT-Large 速度比直接竞争对手快 1.2 倍,GPT2-Large 快 1.4 倍。该合作旨在通过 ROCm SDK 集成及新 Optimum 库,为社区提供更具成本效益的训练与推理方案。
Hugging Face Hub 为 GLAM 领域提供模型、数据集及演示应用的共享平台,目前托管超 190,000 个模型与 33,000 个数据集。机构可通过按任务(如 token-classification)和语言筛选查找现成模型,并利用 Spaces 快速部署 Gradio 或 Docker 应用。文章还演示了如何将 CSV 格式的数据集上传至 Hub 以支持文本分类等任务。
Hugging Face 发布研究,探讨使用 GPT-4 等基础模型进行自动化数据标注和模型评估的可靠性,并将其作为 Open LLM Leaderboard 扩展的一部分。
推荐理由:通过对比人类标注与 GPT-4 自动评估,揭示了后者在偏好判断中的位置偏差及对冗长回复的过度奖励。
Hugging Face Hub 新增功能,允许用户通过 DuckDB 对存储于 Hub 上的数据集运行 SQL 查询。该功能利用自动转换的 Parquet 文件及 httpfs 扩展,实现直接读取远程数据并支持多文件查询。此举旨在帮助用户更高效地探索和分析用于训练 LLM 的大规模数据集内容。
Hugging Face Hub 现已托管 Meta AI 开源的 fastText 库官方镜像,涵盖 157 种语言的词向量及最新语言识别模型。用户可通过 huggingface_hub 库一键下载并调用预训练模型,支持文本分类与特征提取等 Widget 功能。
阿布扎比技术创新研究所(TII)发布的 Falcon 系列开源大语言模型已全面集成至 Hugging Face 生态系统。该系列包含 Falcon-7B 和 Falcon-40B 两个基础版本及对应的指令微调版,均采用 Apache 2.0 许可证并支持商业使用。
推荐理由:原文详细展示了 Falcon 模型在 Hugging Face 生态中的推理、量化及微调全流程,为开发者提供了可直接复用的工程实践指南。
该教程指导开发者利用 Hugging Face Unity API 在 Unity 游戏中集成语音识别功能。通过录制麦克风输入并编码为 WAV 格式,调用 API 将音频转换为文本,支持最长 10 秒、44100 Hz 的录音处理。
Hugging Face 宣布举办首届开源 AI Game Jam,要求参赛者使用至少一个开源 AI 工具开发游戏。活动定于 7 月 7-9 日举行,鼓励利用 Stable Diffusion 等生成式 AI 加速纹理生成、NPC 制作及语音合成等工作流。
Hugging Face Hub 正式集成 BERTopic,支持在平台上直接进行主题建模。该功能允许用户利用预训练模型和数据集快速分析文本主题分布,简化了从数据准备到模型部署的工作流。
Hugging Face 推出专为 Amazon SageMaker 设计的 LLM Inference Container,基于 Text Generation Inference (TGI) 实现高性能部署。
Hugging Face 结合 OpenVINO NNCF、Quantization-Aware Training (QAT) 及 Token Merging 技术,成功优化 Stable Diffusion 模型在 Intel CPU 上的推理效率。该方案实现了相比 PyTorch 5.1x 的推理加速与 4x 的模型体积缩减,显著降低了资源受限设备上的生成延迟。
Hugging Face 宣布在 transformers 库中集成 bitsandbytes 以支持 4-bit 精度加载模型,并引入 QLoRA 方法实现高效微调。
推荐理由:原文提供了在消费级硬件上运行和微调大模型的 4-bit 量化配置代码与基准测试,读者可据此复现低显存环境下的模型部署。
Hugging Face 与 Microsoft 合作,在 Azure Machine Learning Studio 中原生集成 Hugging Face Hub Model Catalog。
Hugging Face、EleutherAI 和 Stability AI 联合委托 Trail of Bits 对 safetensors 库进行的外部安全审计已完成,结果显示未发现导致任意代码执行的关键安全漏洞。
推荐理由:原文披露了 safetensors 通过外部安全审计的结果及成为默认格式的路径,读者可据此评估模型加载的安全性与性能收益。
Hugging Face 探索利用 InstructPix2Pix 对 Stable Diffusion 进行指令微调,使其能根据文本指令处理输入图像。该方法借鉴 FLAN V2 思路构建数据集,在卡通化等特定任务上比预训练模型表现更忠实。相关代码、预训练模型及数据集已开源发布。
Hugging Face 宣布与 IBM 合作,将开源库集成至新一代企业 AI 工作室 watsonx.ai。该工作室基于 RedHat OpenShift,支持云端及本地部署,允许用户利用 transformers、accelerate 等工具训练和部署模型。双方还将共同开源 IBM 的大语言模型集合并上架 Hugging Face Hub。
Intel 利用 SmoothQuant-O3 技术将 OPT、LLaMA 等模型量化至 INT8,使模型体积缩小约 2x 且精度损失极小。该方案支持在单颗 Intel Sapphire Rapids CPU 上实现 MPT-7B-chat 的实时文本生成,显著降低推理延迟与硬件成本。
BigCode 项目采用 MinHash LSH 算法对代码数据集进行大规模文档级近重复去重,以解决数据冗余导致的模型幻觉与隐私风险。该方法通过设置 Jaccard 相似度阈值等参数优化训练效率,并防止基准测试污染。
Hugging Face 演示如何在单张 AMD GPU 上通过 ROCm 平台运行 Vicuna 13B 模型。该模型拥有 130 亿参数,利用 GPTQ 技术进行 4-bit 量化后显著降低显存需求,并在 Instinct MI210 等硬件上完成部署验证。
Hugging Face 官方博客介绍了新架构 RWKV,该架构结合了 RNN 和 Transformer 的优势,并已集成到 transformers 库中。
推荐理由:官方介绍了 RWKV 架构如何结合 RNN 与 Transformer 优势,并展示了在 Hugging Face transformers 库中的集成方式及代码示例。
Hugging Face 被法国数据保护机构 CNIL 选中,加入其增强支持计划。CNIL 从逾 40 家候选企业中挑选出三家具有强劲经济发展潜力的公司,为其提供数据保护合规指导。Hugging Face 此前在 BigScience 和 BigCode 项目中已率先探索隐私保护实践,此次合作旨在推动 GDPR 合规并为社区澄清隐私问题。
Hugging Face 推出 Assisted Generation 解码方法,通过让小模型快速生成候选序列并由大模型并行验证,将文本生成延迟降低最高 10 倍。该方法已集成至 🤗 Transformers 库,用户只需传入 `assistant_model` 参数即可启用,特别适用于语音识别或摘要等输入导向任务。
推荐理由:原文详细拆解了利用小模型辅助大模型生成以突破显存带宽瓶颈的方法,并提供了在 Transformers 库中直接复用的代码实现与性能基准。
Hugging Face 发布教程展示如何将 BigCode 的 StarCoder 模型微调为对话式编程助手 StarChat。文章介绍了使用 ChatML 格式处理 OpenAssistant 数据集、通过 DeepSpeed ZeRO-3 进行训练的技术细节,并探讨了基于 LLM 的自动化评估方法及模型的局限性。
推荐理由:原文详细展示了利用OpenAssistant数据微调StarCoder构建对话式编程助手的全过程,提供了ChatML格式处理、DeepSpeed训练配置及评估方法等可复用的技术细节。
Hugging Face 深入探讨文本到视频模型的演进,指出其相比文本到图像任务在时空一致性、计算成本及高质量数据集方面面临独特挑战。文章回顾了从 GAN/VAE 到 Transformer(如 Phenaki、Make-A-Video)再到当前主流扩散架构的技术迭代,并分享了相关演示资源与集成进展。
Hugging Face 与 ServiceNow 联合发起的 BigCode 项目发布了 StarCoder 和 StarCoderBase 两个代码大模型。
推荐理由:原文披露了 StarCoder 在 HumanEval 等基准上的具体得分及多语言能力,并提供了开源权重与配套工具,适合评估其在代码生成场景的实际表现。
Hugging Face Unity API 通过 Git URL 集成至 Unity,支持对话、文本生成、文生图等任务及自定义模型端点。开发者需配置 API Key 并调用异步回调接口(如 SentenceSimilarity)获取推理结果。该工具简化了 AI 模型在游戏项目中的接入流程,可通过切换低资源模型优化响应速度。
Hugging Face 发布教程,指导用户利用 🤗 Transformers、TensorFlow 及 TPUStrategy 从零开始训练 RoBERTa (base) 模型。该方案通过 XLA 兼容性优化,解决了社区在 TPU 上训练时的痛点,并演示了从 WikiText v1 数据集处理、Unigram tokenizer 训练到 TFRecord 格式上传的完整流程。
Databricks 向 Hugging Face 代码库提交官方更新,新增 `from_spark` 函数以直接创建数据集。该功能消除了写入 Parquet 文件的中间步骤,使 16GB 数据的处理时间从 22 分钟缩短至 12 分钟,效率提升超 40%。
Hugging Face 发布教程,演示如何利用 🧨 diffusers 库在免费 Google Colab 上运行 DeepFloyd 的 IF 文本到图像模型。
推荐理由:展示了通过量化和分阶段加载在免费 Colab 运行大参数模型的具体代码,为资源受限环境部署复杂扩散模型提供了可复用的工程方案。
Hugging Face 上线面向中文用户的官方博客 hf.co/blog/zh,由志愿者翻译 Transformer、扩散模型及强化学习等资源。此举旨在促进与中国 AI 社区的协作,此前双方已在 ChatGLM、PaddlePaddle 集成及线下活动等方面展开合作。
Hugging Face 与 AWS 合作,通过 `optimum neuron` 将 Transformers 模型适配至 AWS Inferentia2。基准测试显示,Inferentia2 相比 NVIDIA A10G GPU 平均延迟降低 4.5 倍,相比 Inferentia1 延迟降低 4 倍。开发者仅需一行代码即可编译模型,无需手动切片或修改架构。
Hugging Face Transformers 库目前仅支持 Microsoft 的 Graphormer 模型进行图分类任务。开发者需安装 transformers >= 4.27.2,加载如 ogbg-molhiv 等数据集并应用默认预处理。该流程通过微调预训练检查点实现二分类、回归或多任务分类。
Hugging Face 与开源联邦学习框架 Substra 合作创建演示空间,展示如何通过仅传输模型权重而非原始数据来训练多源数据集。该方案在医疗等敏感领域能突破数据孤岛限制,相比单源数据训练显著提升模型泛化能力与验证表现。
Snorkel AI 与 Hugging Face 建立合作伙伴关系,旨在帮助企业更灵活地利用基础模型。Snorkel Flow 平台集成 Hugging Face 的 Inference Endpoint 服务,使企业能访问超过 150,000 个开源模型,并利用其“暂停和恢复”功能在控制成本的同时按需激活模型 API。
Hugging Face 发布了 StackLLaMA 模型的训练指南,展示了如何利用 RLHF 技术微调 LLaMA 7B 模型以回答 Stack Exchange 问题。
推荐理由:原文完整拆解了基于 LLaMA 和 StackExchange 数据的 RLHF 训练全流程,提供了从 SFT、奖励建模到 PPO 优化的具体代码实现与显存优化策略。
Hugging Face 在《Ethics and Society Newsletter #3》中提出“开放且良善”的 ML 使命,通过平衡开放性与风险控制来防止模型危害。平台推出六大伦理标签分类及社区标记功能,旨在通过文档化和工具化手段,确保开源科学在赋能个体的同时最小化潜在伤害。
Hugging Face 通过 Optimum Habana 库实现 BLOOMZ 模型在 Habana Gaudi2 加速器上的高效部署。基准测试显示,Gaudi2 运行 176B 参数 BLOOMZ 比 Nvidia A100 快 1.42 倍,运行 7B 版本快 2.89 倍。
Hugging Face 展示在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 的方法。使用 Optimum Intel 和 OpenVINO 将 runwayml/stable-diffusion-v1-5 模型转为 bfloat16 并固定分辨率,平均延迟从 32.3 秒降至 4.7 秒。