Prodigy-HF 插件发布：实现与 Hugging Face 生态的直接集成
Explosion 推出 Prodigy-HF 插件，实现 Prodigy 标注工具与 Hugging Face 生态的直接集成。该插件支持通过 `hf.train.ner` 等命令微调任意 Transformer 模型（如 distilbert-base-uncased），并允许将标注数据集上传至 Hugging Face Hub。
#数据/训练
#数据/训练
今日 0 条Hugging Face BlogAI 评分3535 Hugging Face BlogAI 评分3232 基于 LoRA 微调对比 RoBERTa、Llama 2 与 Mistral 7B 在灾难推文分类中的表现
该研究利用 LoRA 技术对 RoBERTa-large (355M)、Llama-2-7b 和 Mistral-7B-v0.1 (7.3B) 进行序列分类微调，以评估其在灾难推文分析任务上的性能。实验在单张 A6000 GPU 上完成，旨在通过参数高效微调方法比较不同规模模型的效果。
Hugging Face BlogAI 评分4040 Renumics Spotlight 一行代码交互探索 Hugging Face 数据集
Renumics Spotlight 支持通过一行代码在 Hugging Face datasets 库中创建交互式可视化，直接识别数据中的关键聚类。该工具利用模型预测和嵌入向量深入理解数据段及失败模式，无需复制或预处理即可高效加载结构化与非结构化数据进行调试分析。
Hugging Face Blog精选AI 评分7373 Hugging Face 详解 RLHF with PPO 的实现细节及优化器差异
Hugging Face 团队发布博客文章，详细解析了基于 PPO 的 RLHF（人类反馈强化学习）实现细节。该研究成功复现了 OpenAI 2019 年 lm-human-preferences 代码库的学习曲线，并整理了一份关键实施清单。
推荐理由：原文通过复现 OpenAI 早期 RLHF 代码，揭示了 PyTorch 与 TensorFlow Adam 优化器在数值实现上的差异及其对模型训练稳定性的具体影响。
Hugging Face BlogAI 评分4545 使用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 演示如何利用 PyTorch FSDP、Transformers、Accelerate 和 TRL 微调 Llama 2 70B。通过仅在 rank 0 加载权重并广播至其他设备，解决了多 GPU 并行加载导致的 CPU 内存溢出问题。该方案在 2 节点 16 张 A100 GPU 环境下运行，显著降低了显存占用并提升了训练速度。
OpenAI News精选AI 评分6363 OpenAI 推出 GPT-3.5 Turbo 微调功能及 API 更新
OpenAI 宣布开发者现在可以使用自己的数据对 GPT-3.5 Turbo 进行微调，从而针对特定用例定制模型。此次更新还包含相关的 API 调整。
推荐理由：OpenAI 开放了 GPT-3.5 Turbo 的微调能力，开发者可利用自有数据定制模型以适配特定场景。
Hugging Face Blog精选AI 评分7777 Hugging Face 发布使用 DPO 微调 Llama 2 的实践指南
Hugging Face 博客介绍了如何在 TRL 库中使用直接偏好优化（DPO）方法微调 Llama v2 7B 模型。文章详细演示了从监督微调（SFT）到 DPO 训练的全流程，包括数据格式准备、QLoRA 配置及关键超参数 beta 的设置，并提供了可复用的代码示例和最终模型链接。
推荐理由：提供了在TRL库中使用DPO微调Llama 2的完整代码与流程，展示了如何绕过复杂RLHF步骤直接优化偏好数据。
Hugging Face BlogAI 评分2626 Hugging Face 用机器学习完善 Hub 数据集语言元数据
Hugging Face 推出 Huggy Lingo，利用机器学习检测 Hub 上缺失语言元数据的约 87% 数据集。该方案通过 dataset viewer API 获取文本样本，调用 facebook/fasttext-language-identification 模型识别 217 种语言，并借助 librarian-bots 自动提交 PR 补充元数据，以提升多语言数据集的可发现性。
Hugging Face BlogAI 评分4848 Hugging Face Hub 集成 DuckDB 支持 SQL 分析数据集
Hugging Face Hub 新增功能，允许用户通过 DuckDB 对存储于 Hub 上的数据集运行 SQL 查询。该功能利用自动转换的 Parquet 文件及 httpfs 扩展，实现直接读取远程数据并支持多文件查询。此举旨在帮助用户更高效地探索和分析用于训练 LLM 的大规模数据集内容。
Hugging Face Blog精选AI 评分9090 Hugging Face 集成 bitsandbytes 实现 4-bit 量化与 QLoRA 微调
Hugging Face 宣布在 transformers 库中集成 bitsandbytes 以支持 4-bit 精度加载模型，并引入 QLoRA 方法实现高效微调。
推荐理由：原文提供了在消费级硬件上运行和微调大模型的 4-bit 量化配置代码与基准测试，读者可据此复现低显存环境下的模型部署。
Hugging Face BlogAI 评分4545 BigCode 大规模近重复数据去重实践
BigCode 项目采用 MinHash LSH 算法对代码数据集进行大规模文档级近重复去重，以解决数据冗余导致的模型幻觉与隐私风险。该方法通过设置 Jaccard 相似度阈值等参数优化训练效率，并防止基准测试污染。
Hugging Face BlogAI 评分4848 Hugging Face 发布使用 TensorFlow 和 TPU 训练语言模型教程
Hugging Face 发布教程，指导用户利用 🤗 Transformers、TensorFlow 及 TPUStrategy 从零开始训练 RoBERTa (base) 模型。该方案通过 XLA 兼容性优化，解决了社区在 TPU 上训练时的痛点，并演示了从 WikiText v1 数据集处理、Unigram tokenizer 训练到 TFRecord 格式上传的完整流程。
Hugging Face BlogAI 评分3838 Databricks 与 Hugging Face 集成：LLM 训练速度提升最高达 40%
Databricks 向 Hugging Face 代码库提交官方更新，新增 `from_spark` 函数以直接创建数据集。该功能消除了写入 Parquet 文件的中间步骤，使 16GB 数据的处理时间从 22 分钟缩短至 12 分钟，效率提升超 40%。
Hugging Face BlogAI 评分3333 Hugging Face 联合 Substra 展示联邦学习在隐私保护 AI 中的应用
Hugging Face 与开源联邦学习框架 Substra 合作创建演示空间，展示如何通过仅传输模型权重而非原始数据来训练多源数据集。该方案在医疗等敏感领域能突破数据孤岛限制，相比单源数据训练显著提升模型泛化能力与验证表现。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 StackLLaMA：手把手教您使用 RLHF 训练 LLaMA 模型
Hugging Face 发布了 StackLLaMA 模型的训练指南，展示了如何利用 RLHF 技术微调 LLaMA 7B 模型以回答 Stack Exchange 问题。
推荐理由：原文完整拆解了基于 LLaMA 和 StackExchange 数据的 RLHF 训练全流程，提供了从 SFT、奖励建模到 PPO 优化的具体代码实现与显存优化策略。
Hugging Face BlogAI 评分2626 Hugging Face 与 Flower 实现联邦学习教程
Hugging Face 联合 Flower 框架提供教程，演示如何在多客户端间联邦训练 distilBERT 模型以进行 IMDB 情感分类。该方案利用 `flwr['simulation']` 在 Google Colab 中模拟联邦环境，通过本地微调并聚合参数，实现在不共享原始数据的前提下完成序列分类任务。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 TRL 与 PEFT 集成指南：在 24GB GPU 上微调 20B LLM
Hugging Face 正式发布了 trl 库与 peft 库的集成方案，使得用户能够在单张 24GB 消费级 GPU（如 NVIDIA 4090）上对 20B 参数的大语言模型进行基于强化学习的人类反馈（RLHF）微调。该方案通过结合 8-bit 量化加载、低秩适配器（LoRA）以及共享参考模型权重等技术，大幅降低了显存需求，并提供了从基础微调到情感导向 RL 训练的完整脚本示例。
推荐理由：原文给出了在单张24GB消费级GPU上微调20B模型的具体步骤和代码示例，为资源受限环境下的RLHF实践提供了可复用的技术路径。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布 PEFT 库以支持参数高效微调
Hugging Face 正式推出 🤗 PEFT 库，集成 LoRA、Prefix Tuning 等参数高效微调技术，旨在解决大模型全量微调算力与存储成本过高的问题。
推荐理由：官方发布 PEFT 库，提供 LoRA 等参数高效微调方法，支持在消费级硬件上低成本训练大模型并实现多任务权重复用。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 diffusers 中 LoRA 用于 Stable Diffusion 高效微调的指南
Hugging Face 在 diffusers 库中正式支持使用 LoRA 技术对 Stable Diffusion 进行高效微调。该方法通过冻结预训练权重并注入可训练层，使全量微调仅需 11 GB VRAM 即可运行，且生成的权重文件仅约 3 MB，比原始 UNet 模型小约一千倍。
推荐理由：原文提供了在 diffusers 中使用 LoRA 进行 Stable Diffusion 微调的具体脚本和推理代码，展示了显著降低显存需求和模型文件大小的实际效果。
Hugging Face BlogAI 评分4343 解析 ChatGPT 背后的 RLHF、IFT 与 CoT 等技术原理
Hugging Face 梳理了 ChatGPT 成功的关键技术，包括 RLHF、SFT、IFT 和 CoT。文章对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT 及 Claude 等对话智能体在模型规模、训练数据及评估标准上的异同。重点阐释了指令微调（IFT）如何提升模型遵循指令能力，以及监督微调（SFT）在确保回复安全与有用性中的作用。
Hugging Face BlogAI 评分3737 Hugging Face 🤗 Datasets 音频数据集加载与处理指南
Hugging Face 开源库 🤗 Datasets 支持通过 `load_dataset` 函数一行代码下载并预处理音频数据。该工具集成 Hub 上77个语音识别及28个音频分类数据集，提供流式模式与实时预览功能。以 GigaSpeech 为例，用户可轻松加载从10小时到10,000小时的多种配置，自动完成数据解压、切分及特征提取。
Hugging Face BlogAI 评分3333 Hugging Face 详解 RLHF：从预训练到奖励模型再到强化学习微调
Hugging Face 解析 RLHF 流程，涵盖预训练语言模型、基于人类偏好训练奖励模型及强化学习微调三个核心步骤。该方法通过标量奖励将人类反馈转化为损失函数以优化模型，成功应用于 ChatGPT 等系统。文中对比了 OpenAI InstructGPT、Anthropic 及 DeepMind Gopher 在参数规模与数据生成策略上的差异。
Hugging Face BlogAI 评分2020 Hugging Face 发布蛋白质深度学习入门指南
Hugging Face 推出面向生物学家和机器学习工程师的蛋白质深度学习指南，介绍如何微调蛋白质语言模型及使用 ESMFold 进行蛋白质折叠。文章通过类比 BERT 等自然语言处理模型，阐述迁移学习在解决数据稀缺问题上的关键作用，并提供了 PyTorch 和 TensorFlow 的代码示例。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 SetFit：无需 Prompt 的高效少样本学习框架
Hugging Face 联合 Intel Labs 和 UKP Lab 推出 SetFit，一种用于 Sentence Transformers 少样本微调的高效框架。
推荐理由：原文提供了 SetFit 框架的原理、基准测试对比及代码示例，读者可据此了解如何在少量标注数据下高效微调 Sentence Transformers。
Hugging Face BlogAI 评分3333 Hugging Face 教程：从零训练首个 Offline Decision Transformer
Hugging Face 发布教程，指导用户利用 🤗 transformers Trainer 和自定义 Data Collator，在 Google Colab 上从零训练 Offline Decision Transformer。该模型基于 GPT-2 架构，将强化学习转化为序列建模问题，通过条件生成动作实现 Gym HalfCheetah 环境中的离线 RL 任务。
Hugging Face BlogAI 评分3131 如何在 Megatron-LM 中训练语言模型
Hugging Face 发布教程，指导在 NVIDIA GPU 上使用 Megatron-LM 框架训练 GPT2 模型并转换为 🤗 Transformers 格式。Megatron-LM 通过高效 DataLoader、Fused CUDA Kernels 及 Apex Fused AdamW 优化器提升训练速度。该流程涵盖环境搭建、CodeParrot 数据预处理、模型训练及转换步骤。
Hugging Face BlogAI 评分2828 Hugging Face 教程：使用 Habana Gaudi 从头预训练 BERT
Hugging Face 发布教程，指导用户利用 AWS DL1 实例上的 Habana Gaudi 芯片，通过掩码语言建模任务从头预训练 BERT-base 模型。该流程结合 Transformers、Optimum Habana 和 Datasets 库，涵盖数据集准备、Tokenizer 训练及预处理步骤，旨在发挥 Gaudi 的成本效益优势。
Hugging Face BlogAI 评分2424 Hugging Face 深度强化学习课程讲解 PPO 算法原理与实现
Hugging Face 在深度强化学习课程中详解 Proximal Policy Optimization (PPO) 算法，通过裁剪概率比率至 [1−ϵ,1+ϵ] 范围限制策略更新幅度以提升训练稳定性。文章对比了 TRPO 方法，并指导使用 PyTorch 从零构建 PPO Agent，在 CartPole-v1 和 LunarLander-v2 环境中验证实现效果。
Hugging Face BlogAI 评分3030 🤗 Datasets 新增音频与视觉文档及 ImageFolder 功能
Hugging Face 为 🤗 Datasets 库发布音频和图像数据集的新文档，更新 Quickstart 并引入 `to_tf_dataset` 函数以简化 TensorFlow 数据加载。新增的 `ImageFolder` 构建器允许用户无需编写脚本即可通过文件夹结构直接加载图像分类、描述及目标检测数据集。
Hugging Face BlogAI 评分2323 Hugging Face 演示如何使用对抗数据动态训练模型
Hugging Face 博客以 MNIST 手写数字识别为例，演示了动态对抗数据收集（DADC）流程。通过 🤗 Spaces 让用户绘制数字欺骗模型并标记样本，再将其用于重新训练以提升鲁棒性。文中展示了基于 PyTorch 的卷积网络配置及 Gradio 内置的 flagging 回调功能。
Hugging Face BlogAI 评分4545 BLOOM 176B 模型训练技术解析
Hugging Face 公布 176B 参数多语言模型 BLOOM 的训练工程细节。该模型基于 GPT3 架构，在 Jean Zay 超算上利用 384 张 NVIDIA A100 80GB GPU，通过 Megatron-DeepSpeed 框架耗时 3.5 个月完成训练。项目处理了涵盖 46 种语言的 350B tokens 数据集，实现了大规模分布式并行训练的技术突破。
Hugging Face BlogAI 评分3535 Hugging Face Accelerate 集成 DeepSpeed ZeRO 实现大模型训练加速
Hugging Face Accelerate 库通过集成 DeepSpeed ZeRO 技术，允许用户在不修改代码的情况下启用 Stage-2 优化。在 DeBERTa-XL (900M) 微调任务中，该方法将单 GPU 最大批次大小从 DDP 的 8 提升至 40，实现约 3.5 倍训练速度提升且无性能损失。
OpenAI NewsAI 评分2020 OpenAI 分享大型神经网络训练技术
OpenAI 指出大型神经网络是近期 AI 进展的核心，但其训练是一项复杂的工程与研究挑战。该过程需要协调 GPU 集群以执行单一同步计算。
Hugging Face BlogAI 评分3333 TAPEX：基于合成 SQL 数据实现高效表格预训练
TAPEX 通过在学习神经 SQL 执行器时使用合成数据，解决了表格预训练中真实数据稀缺与效率低下的问题。该模型在 WikiSQL、WikiTableQuestions 等四个基准测试中均取得 SOTA 成绩，其中 WikiSQL 弱监督准确率提升至 89.6%。
Hugging Face BlogAI 评分2323 Hugging Face 研究科学家 Sasha Luccioni 谈机器学习伦理与碳足迹
Hugging Face 研究科学家 Sasha Luccioni 在播客中分享其致力于机器学习模型伦理与社会影响的工作。她担任 Big Science Workshop 碳足迹工作组联合主席，探讨如何量化包括邮件在内的 AI 环境影响及数据策展的重要性。
Hugging Face BlogAI 评分4040 Hugging Face Accelerate 支持 PyTorch FSDP 训练大模型
Hugging Face Accelerate 库现已支持 PyTorch FullyShardedDataParallel (FSDP)，无需修改代码即可利用其特性。
Hugging Face BlogAI 评分2626 使用 Kili 和 HuggingFace AutoTrain 构建文本分类主动学习流程
文章演示了结合 Kili 标注平台与 HuggingFace AutoTrain 构建文本分类的主动学习流程。以 Medium 应用商店约 40130 条用户评论为例，通过定义订阅、内容等类别进行数据清洗与模型训练。该方案利用 AutoTrain 自动化超参数优化及 SOTA Transformer 模型生成，实现高效的用户情感分析。
Hugging Face BlogAI 评分4242 Hugging Face 从零训练 CodeParrot 🦜 指南
Hugging Face 发布教程，指导用户从零开始训练名为 CodeParrot 的 Python 代码生成模型。该模型基于 GPT-2 large 架构（1.5B 参数），利用清洗后的 50GB GitHub Python 数据集进行训练。通过自定义 Tokenizer 和 🤗 Accelerate 库，开发者可复现类似 GitHub Copilot 的代码自动补全功能。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Data Measurements Tool：用于数据集分析与比较的开源交互工具
Hugging Face 发布开源 Python 库及无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 与 Streamlit 构建。该工具支持自动计算词汇分布、标签平衡度及 Zipf 定律符合度等指标，帮助用户交互式地理解、构建、整理和比较 NLP 数据集。
Hugging Face BlogAI 评分3535 Hugging Face 社区周项目：使用 10 亿训练对与 TPU v3-8 训练 SOTA 句子嵌入模型
Hugging Face 在“用 10 亿训练对训练最佳句子嵌入模型”项目中开发了 state-of-the-art 句子嵌入模型。该项目利用 7 个 TPU v3-8 和 JAX/Flax 框架，采用对比学习及 Multiple Negative Ranking Loss 进行训练。通过优化批次大小、引入 hard negatives 及使用缩放余弦相似度，显著提升了模型性能。