Hugging Face 联合 Substra 展示联邦学习在隐私保护 AI 中的应用
Hugging Face 与开源联邦学习框架 Substra 合作创建演示空间,展示如何通过仅传输模型权重而非原始数据来训练多源数据集。该方案在医疗等敏感领域能突破数据孤岛限制,相比单源数据训练显著提升模型泛化能力与验证表现。
Hugging Face 与开源联邦学习框架 Substra 合作创建演示空间,展示如何通过仅传输模型权重而非原始数据来训练多源数据集。该方案在医疗等敏感领域能突破数据孤岛限制,相比单源数据训练显著提升模型泛化能力与验证表现。
Hugging Face 发布了 StackLLaMA 模型的训练指南,展示了如何利用 RLHF 技术微调 LLaMA 7B 模型以回答 Stack Exchange 问题。
推荐理由:原文完整拆解了基于 LLaMA 和 StackExchange 数据的 RLHF 训练全流程,提供了从 SFT、奖励建模到 PPO 优化的具体代码实现与显存优化策略。
Hugging Face 通过 Optimum Habana 库实现 BLOOMZ 模型在 Habana Gaudi2 加速器上的高效部署。基准测试显示,Gaudi2 运行 176B 参数 BLOOMZ 比 Nvidia A100 快 1.42 倍,运行 7B 版本快 2.89 倍。
Hugging Face 展示在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 的方法。使用 Optimum Intel 和 OpenVINO 将 runwayml/stable-diffusion-v1-5 模型转为 bfloat16 并固定分辨率,平均延迟从 32.3 秒降至 4.7 秒。
Hugging Face 联合 Flower 框架提供教程,演示如何在多客户端间联邦训练 distilBERT 模型以进行 IMDB 情感分类。该方案利用 `flwr['simulation']` 在 Google Colab 中模拟联邦环境,通过本地微调并聚合参数,实现在不共享原始数据的前提下完成序列分类任务。
Hugging Face 发布教程,指导用户利用 diffusers 库训练基于面部关键点条件的 ControlNet 模型。文章以 FaceSynthetics 数据集为例,演示了数据构建、使用 SPIGA 模型生成条件图以及通过 BLIP 添加描述的过程。
推荐理由:原文详细拆解了从数据准备到模型训练的全流程,并提供了针对低显存 GPU 的具体优化参数,适合开发者复现 ControlNet 定制训练。
Hugging Face 将 AAAI21 最佳论文 Informer 模型引入 🤗 Transformers,用于多变量概率时间序列预测。该模型通过 ProbSparse 注意力和 Distilling 操作,将自注意力计算复杂度从 O(T²) 降至 O(T log T),有效解决长序列预测中的内存瓶颈问题。
Hugging Face 正式发布了 trl 库与 peft 库的集成方案,使得用户能够在单张 24GB 消费级 GPU(如 NVIDIA 4090)上对 20B 参数的大语言模型进行基于强化学习的人类反馈(RLHF)微调。该方案通过结合 8-bit 量化加载、低秩适配器(LoRA)以及共享参考模型权重等技术,大幅降低了显存需求,并提供了从基础微调到情感导向 RL 训练的完整脚本示例。
推荐理由:原文给出了在单张24GB消费级GPU上微调20B模型的具体步骤和代码示例,为资源受限环境下的RLHF实践提供了可复用的技术路径。
Hugging Face 官方博客发布了 ControlNet 在 Diffusers 库中的集成指南,介绍了 StableDiffusionControlNetPipeline 的使用方法。
推荐理由:原文提供了 ControlNet 在 Diffusers 中的完整集成代码与优化技巧,展示了如何将推理时间降至秒级并大幅降低显存占用。
Hugging Face 志愿者团队开发应用,利用 easyocr、Gradio 及微调的 bert-base-turkish-cased 模型从社交媒体截图和推文提取幸存者地址与需求。通过 Inference API 部署并获 GPU 支持,该方案将非结构化求救信息转为结构化数据以辅助搜救,显著提升了救援响应效率。
Hugging Face 专家通过推荐 Sentence Transformers 架构和 SetFit 库,帮助 Witty Works 构建上下文依赖的非包容性词汇分类器。该方案利用 Siamese 网络生成句子嵌入,仅需每个词 15-20 个标注样本即可实现高效微调,显著降低了数据标注成本并提升了模型在德语和英语语境下的识别准确率。
Salesforce Research 的 BLIP-2 模型已集成至 Hugging Face Transformers,支持零样本图像描述、提示词引导生成及视觉问答。
推荐理由:原文演示了如何在 Transformers 中调用 BLIP-2 完成图像描述与问答,提供了可复用的代码路径。
Hugging Face 推出托管服务 Inference Endpoints,简化模型部署流程。实测显示其 CPU 推理延迟低至 43ms,较原 ECS 方案快两倍以上。尽管成本增加 24%-50%,但显著降低了运维复杂度与认知负荷。
Hugging Face 发布 AI 游戏开发系列第五篇,演示利用 ChatGPT 生成农场游戏故事大纲及物品描述。文章指出语言模型存在复现既有剧情、长文本质量漂移及重复等局限,并提示直接商用可能引发法律与伦理风险。建议将 AI 作为头脑风暴工具,通过多轮迭代优化后由人工撰写最终内容。
Hugging Face 展示在 Intel Sapphire Rapids CPU 上运行 PyTorch Transformer 模型的推理性能。通过 Optimum Intel 库,对比 Ice Lake 架构,测试了 distilbert、bert 和 roberta 等模型在短长文本序列下的延迟。结果显示新架构能显著提升推理速度,为成本敏感场景提供高效 CPU 方案。
Hugging Face 深入剖析视觉-语言模型(VLM)的训练机制,涵盖对比学习、PrefixLM、交叉注意力融合及 MLM/ITM 等核心策略。文章介绍了如何利用 🤗 Transformers 库实验 CLIP 等最新 VLM 进展,并探讨了零样本图像分类、图文生成及视觉问答等应用场景。
Stable Diffusion 通过 Image2Image 技术辅助生成 2D 游戏资产,利用 denoising strength 参数控制创意程度。教程演示了结合 Photoshop 迭代生成玉米图标及处理镰刀图标的流程,并提及 Dreambooth、LoRA 等模型定制技术及 layer.ai 等服务。
Hugging Face 在 diffusers 库中正式支持使用 LoRA 技术对 Stable Diffusion 进行高效微调。该方法通过冻结预训练权重并注入可训练层,使全量微调仅需 11 GB VRAM 即可运行,且生成的权重文件仅约 3 MB,比原始 UNet 模型小约一千倍。
推荐理由:原文提供了在 diffusers 中使用 LoRA 进行 Stable Diffusion 微调的具体脚本和推理代码,展示了显著降低显存需求和模型文件大小的实际效果。
Hugging Face 梳理了 ChatGPT 成功的关键技术,包括 RLHF、SFT、IFT 和 CoT。文章对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT 及 Claude 等对话智能体在模型规模、训练数据及评估标准上的异同。重点阐释了指令微调(IFT)如何提升模型遵循指令能力,以及监督微调(SFT)在确保回复安全与有用性中的作用。
Hugging Face Optimum 库通过集成 Microsoft ONNX Runtime,为 Transformer 模型提供开源训练加速方案。在单节点 8 GPU A100 环境下,结合 DeepSpeed ZeRO Stage 1,训练速度提升 39% 至 130%,平均提速超 35%。
Hugging Face 指出当前 Text-to-3D 技术尚无法直接用于游戏开发,因 DreamFusion、Point-E 等工具多基于 NeRF 视图合成,生成的资产需大量后处理才能转为网格。尽管 NeRF-to-mesh 转换正在推进,但其流程类似摄影测量,难以满足快速制作低多边形游戏资产的需求。
Hugging Face 将 Mask2Former 和 OneFormer 引入 🤗 transformers 库,支持实例、语义及全景分割。OneFormer 通过文本编码器仅需训练全景数据即可在所有任务上达到 SOTA,精度高于 Mask2Former 但延迟更大。
Hugging Face 演示如何利用 🤗 Transformers 和 Datasets 库构建图像相似度检索系统。该方案使用 `nateraw/vit-base-beans` ViT 模型提取图像嵌入向量,并通过余弦相似度计算匹配度。此方法支持并行处理,可扩展至 Swin Transformer、ConvNeXT 等其他视觉模型及多模态场景。
Hugging Face 发布教程展示如何利用 ChatGPT 进行游戏设计,通过询问其建议获取作物多样性与进度系统等核心玩法思路。文章解析了基于 Transformer 架构和 RLHF 技术的语言模型原理,并强调 ChatGPT 存在幻觉风险,应作为头脑风暴工具而非开发流程的完全替代方案。
Hugging Face 发布图机器学习基础教程,涵盖图的定义、表示方法及从传统特征工程到 Graph Neural Networks 的演进。文章解析了节点、边及子图层面的预测任务,并对比了 Transductive 与 Inductive 两种学习设置。内容还简要介绍了面向图数据的 Transformer 架构应用。
Hugging Face 发布教程,指导开发者利用 Stable Diffusion 1.5 模型生成农场游戏的概念艺术。文章演示了通过 Automatic1111 WebUI 本地运行或在线使用模型,并详细说明了在 Unity 2021.9.3f1 引擎中结合正交相机与特定光照设置还原美术风格的步骤。
Hugging Face 展示如何利用 Intel Sapphire Rapids CPU 的 Advanced Matrix Extensions (AMX) 指令加速 PyTorch Transformer 分布式训练。
CLIPSeg 是基于冻结的 CLIP 模型和 Transformer 解码器的零样本图像分割模型,支持对未见类别进行粗粒度掩码生成。该模型输入分辨率为 352x352 像素,输出分辨率较低,需结合 Segments.ai 等工具进行精细化处理。开发者可通过 🤗 transformers 库直接调用 CLIPSeg 完成机器人感知或图像修复等任务。
Hugging Face 开源库 🤗 Datasets 支持通过 `load_dataset` 函数一行代码下载并预处理音频数据。该工具集成 Hub 上77个语音识别及28个音频分类数据集,提供流式模式与实时预览功能。以 GigaSpeech 为例,用户可轻松加载从10小时到10,000小时的多种配置,自动完成数据解压、切分及特征提取。
Hugging Face 解析 RLHF 流程,涵盖预训练语言模型、基于人类偏好训练奖励模型及强化学习微调三个核心步骤。该方法通过标量奖励将人类反馈转化为损失函数以优化模型,成功应用于 ChatGPT 等系统。文中对比了 OpenAI InstructGPT、Anthropic 及 DeepMind Gopher 在参数规模与数据生成策略上的差异。
OpenAI 超级计算团队工程师 Christian Gibson 正在探索后端系统的细微之处。
Hugging Face 推出面向生物学家和机器学习工程师的蛋白质深度学习指南,介绍如何微调蛋白质语言模型及使用 ESMFold 进行蛋白质折叠。文章通过类比 BERT 等自然语言处理模型,阐述迁移学习在解决数据稀缺问题上的关键作用,并提供了 PyTorch 和 TensorFlow 的代码示例。
Hugging Face 联合 Apple 工程师推出在 Apple Silicon 芯片上通过 Core ML 运行 Stable Diffusion 的方案,并在 Hub 上发布了预转换的模型权重。
推荐理由:原文提供了在 Apple Silicon 上运行 Stable Diffusion 的 Core ML 转换权重、推理代码及性能优化建议,读者可据此搭建本地高效生图环境。
Hugging Face 介绍如何使用 🤗 Transformers 库中的 Time Series Transformer 模型进行概率时间序列预测。该 Encoder-Decoder 架构通过祖先采样生成未来分布,支持利用上下文窗口处理长序列及缺失值掩码。文章演示了结合 GluonTS 在 tourism_monthly 数据集上训练单变量概率模型的完整流程。
VQ-Diffusion 是由中国科学技术大学和微软开发的条件潜在扩散模型,其加噪与去噪过程在由离散向量组成的量化潜空间中进行。该模型利用冻结的预训练 VQ-VAE 将图像编码为离散 token,并通过编码器-解码器 Transformer 近似反向过程以预测未噪声化的潜在分布。
Hugging Face 将于 11 月 28 日上线免费扩散模型课程,并在 11 月 30 日举办社区直播活动。演讲嘉宾包括 Stability AI、Meta 及 Runway 的研究人员,内容涵盖 Stable Diffusion 原理及 Make-A-Video 等生成式应用。
Hugging Face Blog 展示如何利用开源模型构建自定义文档智能解决方案。文章梳理了 OCR、图像分类等用例,指出 LayoutLMv3 和 Donut 等多模态 Transformer 在 RVL-CDIP 基准上达到 95% 准确率,显著优于纯文本或视觉模型。
Hugging Face 展示利用 Concrete-ML 库在完全同态加密(FHE)环境下构建情感分析模型,实现无需解密即可对敏感数据进行推理。该方案结合 Transformer 隐藏层表示与 XGBoost 分类器,并支持通过客户端/服务器协议部署至云端,最终提供 Hugging Face Spaces 完整演示。
Hugging Face 将 NeurIPS 2022 提出的 Contrastive Search 解码方法集成至 Transformers 库,支持 PyTorch 和 TensorFlow。该方法利用现成语言模型即可生成跨 16 种语言的人类水平文本,有效解决传统确定性方法的重复问题及随机方法的语义连贯性缺陷。
Hugging Face 发布了基于 Diffusers 库的 Stable Diffusion Dreambooth 训练指南,详细分析了学习率、训练步数和先验保留等超参数对模型效果的影响。文章指出低学习率配合适当步数能有效防止过拟合,且微调文本编码器能显著提升生成质量,特别是在人脸训练场景下。此外,还介绍了在显存受限环境下利用 8-bit Adam 等技术进行训练的方法。
推荐理由:原文通过大量实验对比了不同超参数对训练效果的影响,给出了避免过拟合的具体设置建议和文本编码器微调技巧。