Hugging Face 与 Flower 实现联邦学习教程
Hugging Face 联合 Flower 框架提供教程,演示如何在多客户端间联邦训练 distilBERT 模型以进行 IMDB 情感分类。该方案利用 `flwr['simulation']` 在 Google Colab 中模拟联邦环境,通过本地微调并聚合参数,实现在不共享原始数据的前提下完成序列分类任务。
Hugging Face 联合 Flower 框架提供教程,演示如何在多客户端间联邦训练 distilBERT 模型以进行 IMDB 情感分类。该方案利用 `flwr['simulation']` 在 Google Colab 中模拟联邦环境,通过本地微调并聚合参数,实现在不共享原始数据的前提下完成序列分类任务。
Hugging Face 发布教程,指导用户利用 diffusers 库训练基于面部关键点条件的 ControlNet 模型。文章以 FaceSynthetics 数据集为例,演示了数据构建、使用 SPIGA 模型生成条件图以及通过 BLIP 添加描述的过程。
推荐理由:原文详细拆解了从数据准备到模型训练的全流程,并提供了针对低显存 GPU 的具体优化参数,适合开发者复现 ControlNet 定制训练。
Hugging Face Hub 新增对 Jupyter Notebook 的渲染支持,将 `.ipynb` JSON 文件转换为人类可读格式。该更新允许用户一键在 Google Colab 中直接打开 Hub 上的笔记本,并支持将 Notebook 作为模型与数据集开发文档的一部分进行共享。
Hugging Face 将 AAAI21 最佳论文 Informer 模型引入 🤗 Transformers,用于多变量概率时间序列预测。该模型通过 ProbSparse 注意力和 Distilling 操作,将自注意力计算复杂度从 O(T²) 降至 O(T log T),有效解决长序列预测中的内存瓶颈问题。
Hugging Face 正式发布了 trl 库与 peft 库的集成方案,使得用户能够在单张 24GB 消费级 GPU(如 NVIDIA 4090)上对 20B 参数的大语言模型进行基于强化学习的人类反馈(RLHF)微调。该方案通过结合 8-bit 量化加载、低秩适配器(LoRA)以及共享参考模型权重等技术,大幅降低了显存需求,并提供了从基础微调到情感导向 RL 训练的完整脚本示例。
推荐理由:原文给出了在单张24GB消费级GPU上微调20B模型的具体步骤和代码示例,为资源受限环境下的RLHF实践提供了可复用的技术路径。
Kakao Brain 联合 Hugging Face 发布基于 700M 图像文本对 COYO 数据集训练的 ViT 和 ALIGN 模型,这是首个开源 ALIGN 模型。
Hugging Face 官方博客发布了 ControlNet 在 Diffusers 库中的集成指南,介绍了 StableDiffusionControlNetPipeline 的使用方法。
推荐理由:原文提供了 ControlNet 在 Diffusers 中的完整集成代码与优化技巧,展示了如何将推理时间降至秒级并大幅降低显存占用。
Hugging Face 志愿者团队开发应用,利用 easyocr、Gradio 及微调的 bert-base-turkish-cased 模型从社交媒体截图和推文提取幸存者地址与需求。通过 Inference API 部署并获 GPU 支持,该方案将非结构化求救信息转为结构化数据以辅助搜救,显著提升了救援响应效率。
Hugging Face 在 Diffusers 库文档中发布伦理框架,指导维护者处理社区贡献并明确透明度、一致性等核心价值观。该指南配套提供“Not For All Eyes”标签、Stable Diffusion 偏见评估空间及 Safe Stable Diffusion 等安全机制。项目还引入 OpenRAILs 许可与 Hub 分阶段发布功能,以平衡开放访问与负责任使用。
Hugging Face 专家通过推荐 Sentence Transformers 架构和 SetFit 库,帮助 Witty Works 构建上下文依赖的非包容性词汇分类器。该方案利用 Siamese 网络生成句子嵌入,仅需每个词 15-20 个标注样本即可实现高效微调,显著降低了数据标注成本并提升了模型在德语和英语语境下的识别准确率。
Hugging Face 推出 🧨Diffusers for Mac v1.1,该开源应用利用 Core ML 优化 Stable Diffusion 模型在 Apple Silicon 上的运行。新版本通过自动选择 GPU 或神经引擎(ANE)作为最佳加速器,使文本生成图像速度最高提升 2 倍。用户可在 Mac App Store 下载体验本地化、隐私保护且无需命令行操作的 AI 绘图功能。
Fetch 通过 Hugging Face Expert Acceleration Program 在 AWS 上构建自有文档 AI 模型,将开发时间缩短 30%,延迟降低 50%。该方案利用 Amazon SageMaker 和 AWS Inferentia 加速推理,支持每日处理超 1100 万张收据,替代了原有的第三方黑盒解决方案。
Hugging Face 与 AWS 宣布扩大长期战略合作,旨在通过云工具加速下一代机器学习模型的开放与普及。开发者可利用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 在云端高效训练、微调及部署模型,从而以更低成本实现高性能生成式 AI 应用开发。
Salesforce Research 的 BLIP-2 模型已集成至 Hugging Face Transformers,支持零样本图像描述、提示词引导生成及视觉问答。
推荐理由:原文演示了如何在 Transformers 中调用 BLIP-2 完成图像描述与问答,提供了可复用的代码路径。
Hugging Face 推出托管服务 Inference Endpoints,简化模型部署流程。实测显示其 CPU 推理延迟低至 43ms,较原 ECS 方案快两倍以上。尽管成本增加 24%-50%,但显著降低了运维复杂度与认知负荷。
Hugging Face 正式推出 🤗 PEFT 库,集成 LoRA、Prefix Tuning 等参数高效微调技术,旨在解决大模型全量微调算力与存储成本过高的问题。
推荐理由:官方发布 PEFT 库,提供 LoRA 等参数高效微调方法,支持在消费级硬件上低成本训练大模型并实现多任务权重复用。
Microsoft Research Asia 开发的 SpeechT5 模型现已在 🤗 Transformers 中可用。该模型基于统一模态编码器-解码器架构,通过预训练实现文本到语音(TTS)、自动语音识别(ASR)及语音到语音(S2S)转换。开发者可通过加载 `microsoft/speecht5_tts` 检查点及 speaker embeddings 快速集成多任务语音处理能力。
Hugging Face 开源了基于 ELO 评分系统的 AI vs. AI 多智能体强化学习竞赛工具,通过模型间对战实现相对实力排名。该系统利用 Spaces 运行后台匹配任务,将结果存入 Dataset 并展示 Leaderboard,首个挑战为 SoccerTwos。
Hugging Face 展示在 Intel Sapphire Rapids CPU 上运行 PyTorch Transformer 模型的推理性能。通过 Optimum Intel 库,对比 Ice Lake 架构,测试了 distilbert、bert 和 roberta 等模型在短长文本序列下的延迟。结果显示新架构能显著提升推理速度,为成本敏感场景提供高效 CPU 方案。
Hugging Face 深入剖析视觉-语言模型(VLM)的训练机制,涵盖对比学习、PrefixLM、交叉注意力融合及 MLM/ITM 等核心策略。文章介绍了如何利用 🤗 Transformers 库实验 CLIP 等最新 VLM 进展,并探讨了零样本图像分类、图文生成及视觉问答等应用场景。
Hugging Face Hub 现已支持图像分类、分割等 8 项核心计算机视觉任务,收录超过 3000 个模型和 100 多个数据集。平台通过 Transformers 库集成 ViT、Swin 及 ConvNeXt 等架构,并提供 Pipelines 简化推理流程。开发者可利用 Trainer API 微调模型,或借助 Datasets 库加载 ImageNet-1k 等数据以加速训练。
Stable Diffusion 通过 Image2Image 技术辅助生成 2D 游戏资产,利用 denoising strength 参数控制创意程度。教程演示了结合 Photoshop 迭代生成玉米图标及处理镰刀图标的流程,并提及 Dreambooth、LoRA 等模型定制技术及 layer.ai 等服务。
Hugging Face 在 diffusers 库中正式支持使用 LoRA 技术对 Stable Diffusion 进行高效微调。该方法通过冻结预训练权重并注入可训练层,使全量微调仅需 11 GB VRAM 即可运行,且生成的权重文件仅约 3 MB,比原始 UNet 模型小约一千倍。
推荐理由:原文提供了在 diffusers 中使用 LoRA 进行 Stable Diffusion 微调的具体脚本和推理代码,展示了显著降低显存需求和模型文件大小的实际效果。
Hugging Face 梳理了 ChatGPT 成功的关键技术,包括 RLHF、SFT、IFT 和 CoT。文章对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT 及 Claude 等对话智能体在模型规模、训练数据及评估标准上的异同。重点阐释了指令微调(IFT)如何提升模型遵循指令能力,以及监督微调(SFT)在确保回复安全与有用性中的作用。
Hugging Face Optimum 库通过集成 Microsoft ONNX Runtime,为 Transformer 模型提供开源训练加速方案。在单节点 8 GPU A100 环境下,结合 DeepSpeed ZeRO Stage 1,训练速度提升 39% 至 130%,平均提速超 35%。
Hugging Face 指出当前 Text-to-3D 技术尚无法直接用于游戏开发,因 DreamFusion、Point-E 等工具多基于 NeRF 视图合成,生成的资产需大量后处理才能转为网格。尽管 NeRF-to-mesh 转换正在推进,但其流程类似摄影测量,难以满足快速制作低多边形游戏资产的需求。
Hugging Face 将 Mask2Former 和 OneFormer 引入 🤗 transformers 库,支持实例、语义及全景分割。OneFormer 通过文本编码器仅需训练全景数据即可在所有任务上达到 SOTA,精度高于 Mask2Former 但延迟更大。
PaddlePaddle 与 Hugging Face 达成开源合作,正式入驻 Hugging Face Hub。目前已有超过 75 个 PaddlePaddle 模型上线,涵盖文本、图像及多模态任务,支持通过 Inference API 调用及浏览器交互体验。
Hugging Face 演示如何利用 🤗 Transformers 和 Datasets 库构建图像相似度检索系统。该方案使用 `nateraw/vit-base-beans` ViT 模型提取图像嵌入向量,并通过余弦相似度计算匹配度。此方法支持并行处理,可扩展至 Swin Transformer、ConvNeXT 等其他视觉模型及多模态场景。
Hugging Face 发布图机器学习基础教程,涵盖图的定义、表示方法及从传统特征工程到 Graph Neural Networks 的演进。文章解析了节点、边及子图层面的预测任务,并对比了 Transductive 与 Inductive 两种学习设置。内容还简要介绍了面向图数据的 Transformer 架构应用。
Hugging Face 发布教程,指导开发者利用 Stable Diffusion 1.5 模型生成农场游戏的概念艺术。文章演示了通过 Automatic1111 WebUI 本地运行或在线使用模型,并详细说明了在 Unity 2021.9.3f1 引擎中结合正交相机与特定光照设置还原美术风格的步骤。
Hugging Face 展示如何利用 Intel Sapphire Rapids CPU 的 Advanced Matrix Extensions (AMX) 指令加速 PyTorch Transformer 分布式训练。
CLIPSeg 是基于冻结的 CLIP 模型和 Transformer 解码器的零样本图像分割模型,支持对未见类别进行粗粒度掩码生成。该模型输入分辨率为 352x352 像素,输出分辨率较低,需结合 Segments.ai 等工具进行精细化处理。开发者可通过 🤗 transformers 库直接调用 CLIPSeg 完成机器人感知或图像修复等任务。
Hugging Face 推出 Model Card Creator Tool、更新版模板及《Model Card Guide Book》,旨在简化机器学习模型文档的创建与协作。该工具提供图形用户界面,支持非编程人员通过默认提示文本填写偏见、风险等关键部分,并整合了行业最新标准与用户研究成果。
Hugging Face 发布伦理与社会通讯,指出机器学习偏见复杂且单一技术干预难以根治。文章分享了在任务定义、数据集策划和模型训练阶段分析偏见的经验与工具,旨在支持社区更好地应对 ML 开发中的社会风险。
Hugging Face 开源库 🤗 Datasets 支持通过 `load_dataset` 函数一行代码下载并预处理音频数据。该工具集成 Hub 上77个语音识别及28个音频分类数据集,提供流式模式与实时预览功能。以 GigaSpeech 为例,用户可轻松加载从10小时到10,000小时的多种配置,自动完成数据解压、切分及特征提取。
Hugging Face 展示 Habana Gaudi®2 在训练和推理上比 Nvidia A100 80GB 快约两倍。BERT 预训练中,Gaudi®2 相比初代 Gaudi 提速 3.04 倍,吞吐量达 1580.2 samples/s,优于 A100 的 981.6 samples/s。
Hugging Face 发布 Bumblebee 库,将 Transformers 模型以纯 Elixir 实现带入社区,原生支持从 GPT2 到 Stable Diffusion 的多种神经网络。
Hugging Face 解析 RLHF 流程,涵盖预训练语言模型、基于人类偏好训练奖励模型及强化学习微调三个核心步骤。该方法通过标量奖励将人类反馈转化为损失函数以优化模型,成功应用于 ChatGPT 等系统。文中对比了 OpenAI InstructGPT、Anthropic 及 DeepMind Gopher 在参数规模与数据生成策略上的差异。
Hugging Face 推出面向生物学家和机器学习工程师的蛋白质深度学习指南,介绍如何微调蛋白质语言模型及使用 ESMFold 进行蛋白质折叠。文章通过类比 BERT 等自然语言处理模型,阐述迁移学习在解决数据稀缺问题上的关键作用,并提供了 PyTorch 和 TensorFlow 的代码示例。