Hugging Face 详解 RLHF：从预训练到奖励模型再到强化学习微调
Hugging Face 解析 RLHF 流程，涵盖预训练语言模型、基于人类偏好训练奖励模型及强化学习微调三个核心步骤。该方法通过标量奖励将人类反馈转化为损失函数以优化模型，成功应用于 ChatGPT 等系统。文中对比了 OpenAI InstructGPT、Anthropic 及 DeepMind Gopher 在参数规模与数据生成策略上的差异。
#教程/实践
#教程/实践
今日 6 条Hugging Face BlogAI 评分3333
OpenAI NewsAI 评分1212 OpenAI 超级计算团队工程师 Christian Gibson 探索后端系统细节
OpenAI 超级计算团队工程师 Christian Gibson 正在探索后端系统的细微之处。
Hugging Face BlogAI 评分2020 Hugging Face 发布蛋白质深度学习入门指南
Hugging Face 推出面向生物学家和机器学习工程师的蛋白质深度学习指南，介绍如何微调蛋白质语言模型及使用 ESMFold 进行蛋白质折叠。文章通过类比 BERT 等自然语言处理模型，阐述迁移学习在解决数据稀缺问题上的关键作用，并提供了 PyTorch 和 TensorFlow 的代码示例。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布在 Apple Silicon 上使用 Core ML 运行 Stable Diffusion 的指南
Hugging Face 联合 Apple 工程师推出在 Apple Silicon 芯片上通过 Core ML 运行 Stable Diffusion 的方案，并在 Hub 上发布了预转换的模型权重。
推荐理由：原文提供了在 Apple Silicon 上运行 Stable Diffusion 的 Core ML 转换权重、推理代码及性能优化建议，读者可据此搭建本地高效生图环境。
Hugging Face BlogAI 评分3939 Hugging Face 详解基于 Transformers 的概率时间序列预测
Hugging Face 介绍如何使用 🤗 Transformers 库中的 Time Series Transformer 模型进行概率时间序列预测。该 Encoder-Decoder 架构通过祖先采样生成未来分布，支持利用上下文窗口处理长序列及缺失值掩码。文章演示了结合 GluonTS 在 tourism_monthly 数据集上训练单变量概率模型的完整流程。
Hugging Face BlogAI 评分4040 VQ-Diffusion：基于量化潜空间的离散扩散模型
VQ-Diffusion 是由中国科学技术大学和微软开发的条件潜在扩散模型，其加噪与去噪过程在由离散向量组成的量化潜空间中进行。该模型利用冻结的预训练 VQ-VAE 将图像编码为离散 token，并通过编码器-解码器 Transformer 近似反向过程以预测未噪声化的潜在分布。
Hugging Face BlogAI 评分1818 Hugging Face 发布扩散模型课程并举办社区直播活动
Hugging Face 将于 11 月 28 日上线免费扩散模型课程，并在 11 月 30 日举办社区直播活动。演讲嘉宾包括 Stability AI、Meta 及 Runway 的研究人员，内容涵盖 Stable Diffusion 原理及 Make-A-Video 等生成式应用。
Hugging Face BlogAI 评分4141 Hugging Face 开源模型加速 Document AI 应用
Hugging Face Blog 展示如何利用开源模型构建自定义文档智能解决方案。文章梳理了 OCR、图像分类等用例，指出 LayoutLMv3 和 Donut 等多模态 Transformer 在 RVL-CDIP 基准上达到 95% 准确率，显著优于纯文本或视觉模型。
Hugging Face BlogAI 评分3030 Hugging Face 演示基于同态加密的情感分析
Hugging Face 展示利用 Concrete-ML 库在完全同态加密（FHE）环境下构建情感分析模型，实现无需解密即可对敏感数据进行推理。该方案结合 Transformer 隐藏层表示与 XGBoost 分类器，并支持通过客户端/服务器协议部署至云端，最终提供 Hugging Face Spaces 完整演示。
Hugging Face BlogAI 评分4545 Hugging Face 在 Transformers 中集成 Contrastive Search 实现人类水平文本生成
Hugging Face 将 NeurIPS 2022 提出的 Contrastive Search 解码方法集成至 Transformers 库，支持 PyTorch 和 TensorFlow。该方法利用现成语言模型即可生成跨 16 种语言的人类水平文本，有效解决传统确定性方法的重复问题及随机方法的语义连贯性缺陷。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布使用 Diffusers 进行 Stable Diffusion Dreambooth 训练的指南
Hugging Face 发布了基于 Diffusers 库的 Stable Diffusion Dreambooth 训练指南，详细分析了学习率、训练步数和先验保留等超参数对模型效果的影响。文章指出低学习率配合适当步数能有效防止过拟合，且微调文本编码器能显著提升生成质量，特别是在人脸训练场景下。此外，还介绍了在显存受限环境下利用 8-bit Adam 等技术进行训练的方法。
推荐理由：原文通过大量实验对比了不同超参数对训练效果的影响，给出了避免过拟合的具体设置建议和文本编码器微调技巧。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布使用 Transformers 微调 Whisper 进行多语言语音识别教程
Hugging Face 博客发布指南，演示如何使用 🤗 Transformers 库对 OpenAI 的 Whisper 模型进行微调，以适配任意多语言自动语音识别（ASR）数据集。
推荐理由：提供了基于 Hugging Face Transformers 微调 Whisper 进行多语言 ASR 的完整代码流程，展示了仅用少量数据即可显著提升识别性能的方法。
Hugging Face BlogAI 评分4040 Hugging Face 在 🤗 Evaluate 中新增语言模型偏见评估指标
Hugging Face 为 🤗 Evaluate 库添加偏见度量，支持评估 GPT-2、BLOOM 等因果语言模型的毒性、极性和伤害性。该功能利用 R4 Target 模型检测仇恨言论，通过对比不同代词提示下的生成结果量化偏见差异，帮助社区理解模型编码的社会问题。
Hugging Face BlogAI 评分2929 Hugging Face 教程：从 PyTorch DDP 到 Accelerate 再到 Trainer 的分布式训练进阶
Hugging Face 发布教程，展示通过三个抽象层级实现多 GPU 分布式数据并行（DDP）训练。内容涵盖原生 `pytorch.distributed`、`🤗 Accelerate` 轻量封装及 `🤗 Transformers` 高级 `Trainer` API。该方案支持在单 GPU、TPU 或多节点环境下运行，仅需极少代码修改即可提升训练速度并简化配置。
Hugging Face BlogAI 评分4040 Hugging Face Inference Endpoints 入门指南
Hugging Face 推出 Inference Endpoints，支持将 Hub 模型一键部署至 AWS 等云端托管基础设施。该服务提供 Public、Protected 和 Private 三种安全访问模式，其中 Private 端点通过 AWS PrivateLink 实现 VPC 内隔离访问。用户可配置自动扩缩容及自定义容器，简化生产环境下的模型推理部署流程。
Hugging Face BlogAI 评分5050 Hugging Face Diffusers 支持在 JAX/Flax 上运行 Stable Diffusion
Hugging Face Diffusers v0.5.1 起支持 Flax，实现 Stable Diffusion 在 Google TPU 上的快速推理。该方案利用 bfloat16 精度和 8 个并行 TPU 设备，通过复制提示词使单批次生成 8 张图像，显著提升吞吐量。
Hugging Face BlogAI 评分4848 Hugging Face 优化 BLOOM 推理：延迟降低 5 倍，吞吐量提升 50 倍
Hugging Face 通过移植模型至 transformers 并结合 Accelerate 实现流水线并行，将 BLOOM 推理延迟降低 5 倍，吞吐量提升 50 倍。针对 176B 参数、352GB 显存需求的模型，团队利用 device_map="auto" 自动分片以适配多 GPU 环境。该优化过程涉及解决 Tensor 并行导致的数值差异及建立严格的生成测试套件以确保模型稳定性。
Hugging Face BlogAI 评分4343 Hugging Face Accelerate 如何利用 PyTorch 运行超大模型
Hugging Face Accelerate 利用 PyTorch meta device 创建空模型并自动计算设备映射，从而在有限内存下加载 OPT-6.7B 等大语言模型。该方案通过分块加载权重至 GPU、CPU 或磁盘，避免了传统方法中因同时持有模型结构与权重副本导致的内存溢出问题。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 SetFit：无需 Prompt 的高效少样本学习框架
Hugging Face 联合 Intel Labs 和 UKP Lab 推出 SetFit，一种用于 Sentence Transformers 少样本微调的高效框架。
推荐理由：原文提供了 SetFit 框架的原理、基准测试对比及代码示例，读者可据此了解如何在少量标注数据下高效微调 Sentence Transformers。
Hugging Face BlogAI 评分3232 使用 DeepSpeed 和 Accelerate 实现 BLOOM 176B 模型的极速推理
Hugging Face 展示利用 DeepSpeed-Inference 与 Accelerate 在 8x80GB A100 GPU 上实现 BLOOM 176B 模型的高吞吐推理。
Hugging Face BlogAI 评分3333 Hugging Face 教程：从零训练首个 Offline Decision Transformer
Hugging Face 发布教程，指导用户利用 🤗 transformers Trainer 和自定义 Data Collator，在 Google Colab 上从零训练 Offline Decision Transformer。该模型基于 GPT-2 架构，将强化学习转化为序列建模问题，通过条件生成动作实现 Gym HalfCheetah 环境中的离线 RL 任务。
Hugging Face BlogAI 评分3131 如何在 Megatron-LM 中训练语言模型
Hugging Face 发布教程，指导在 NVIDIA GPU 上使用 Megatron-LM 框架训练 GPT2 模型并转换为 🤗 Transformers 格式。Megatron-LM 通过高效 DataLoader、Fused CUDA Kernels 及 Apex Fused AdamW 优化器提升训练速度。该流程涵盖环境搭建、CodeParrot 数据预处理、模型训练及转换步骤。
Hugging Face BlogAI 评分2828 Hugging Face Spaces 中可视化蛋白质的方法
Hugging Face Blog 介绍了在 Hugging Face Spaces 中使用 Gradio 和 3Dmol.js 可视化蛋白质结构的方法。开发者可通过 iframe 集成 3Dmol.js，支持输入 PDB 代码或上传文件以展示 AlphaFold2 等模型预测的蛋白质三维结构。
Hugging Face Blog精选AI 评分8383 Hugging Face 详解 Stable Diffusion 在 Diffusers 库中的使用与原理
Hugging Face 发布教程，指导用户通过 🧨 Diffusers 库（版本 0.10.2）运行 Stable Diffusion v1-4 模型进行文本到图像生成。
推荐理由：原文结合代码演示与架构解析，展示了如何使用 Diffusers 库运行 Stable Diffusion v1-4 并自定义推理流程。
Hugging Face BlogAI 评分2828 Hugging Face 教程：使用 Habana Gaudi 从头预训练 BERT
Hugging Face 发布教程，指导用户利用 AWS DL1 实例上的 Habana Gaudi 芯片，通过掩码语言建模任务从头预训练 BERT-base 模型。该流程结合 Transformers、Optimum Habana 和 Datasets 库，涵盖数据集准备、Tokenizer 训练及预处理步骤，旨在发挥 Gaudi 的成本效益优势。
Hugging Face BlogAI 评分2222 Hugging Face ViT 模型在 Vertex AI 的部署指南
Hugging Face 演示如何将 ViT B/16 模型部署至 Google Cloud Vertex AI，实现比 Kubernetes 更简洁的代码与同等扩展性。该流程利用 `google-cloud-aiplatform` SDK 完成模型上传、端点创建及预测请求，支持自动扩缩容、版本管理及流量分割等托管功能。
Hugging Face BlogAI 评分2121 Hugging Face Optimum Graphcore 上微调 Vision Transformer 的深度指南
Hugging Face Optimum Graphcore 库支持在 Graphcore IPU 上高效微调预训练 Vision Transformer (ViT) 模型。该方案利用 IPU 的并行架构优势，通过加载 ImageNet-21k 预训练的 ViT 检查点，可快速完成如 ChestX-ray14 数据集的分类任务，显著缩短 AI 模型开发周期并提升计算效率。
Hugging Face Blog精选AI 评分7878 Hugging Face 详解 LLM.int8() 8-bit 矩阵乘法集成指南
Hugging Face 发布博客文章，详细介绍如何将 LLM.int8() 技术集成到 transformers 和 accelerate 库中，以实现大语言模型的 8-bit 量化推理。该技术在保持 BLOOM-176B 等大模型性能零衰减的前提下，将显存需求减半，并提供了从原理分析、基准测试对比到具体代码实现的完整教程。
推荐理由：原文详解了LLM.int8()在transformers中的集成原理与代码实现，提供了降低大模型显存占用且不损失精度的具体方法。
Hugging Face BlogAI 评分2828 Hugging Face 阐述 TensorFlow 集成 Keras 的设计哲学
Hugging Face 强调在 TensorFlow 中应优先使用 Keras 高层 API，而非绕过它。通过 `TFAutoModel` 等类，用户可一行代码加载 BERT、ViT 等预训练模型并应用迁移学习。该策略旨在利用 `tf.data` 和 Keras 生态简化模型构建与训练流程。
Hugging Face BlogAI 评分2828 Hugging Face ViT 模型在 Kubernetes 上的 TF Serving 部署指南
Hugging Face 展示了如何使用 Docker 和 Kubernetes 扩展 🤗 ViT 模型的 TensorFlow Serving 本地部署。该方案通过容器化 SavedModel 并配置 gRPC 请求处理，实现了支持多用户的高可用服务架构。
Hugging Face BlogAI 评分1515 Sentence Transformers 模型训练与微调指南
Hugging Face 指出该教程已过时，当前应使用 `SentenceTransformerTrainer` API。文中演示了基于 `distilroberta-base` 构建模型及加载 `all-MiniLM-L6-v2` 进行微调的方法。相比原生 BERT，Sentence Transformers 将万句语义搜索耗时从约 65 小时降至 5 秒。
Hugging Face BlogAI 评分2424 Hugging Face 深度强化学习课程讲解 PPO 算法原理与实现
Hugging Face 在深度强化学习课程中详解 Proximal Policy Optimization (PPO) 算法，通过裁剪概率比率至 [1−ϵ,1+ϵ] 范围限制策略更新幅度以提升训练稳定性。文章对比了 TRPO 方法，并指导使用 PyTorch 从零构建 PPO Agent，在 CartPole-v1 和 LunarLander-v2 环境中验证实现效果。
Hugging Face BlogAI 评分2828 Nyströmformer：通过Nyström方法实现线性时间与内存的自注意力近似
Nyströmformer利用Nyström方法将Transformer自注意力的复杂度从O(n²)降至O(n)。该模型通过查询和键的段均值采样32或64个landmarks来近似softmax矩阵，在长序列（n=4096或8192）上保持与标准自注意力相当的竞争力性能。
Hugging Face BlogAI 评分3232 Hugging Face 实现 TensorFlow 与 XLA 加速文本生成
🤗 transformers 库现已支持使用 XLA 编译 TensorFlow 文本生成模型，速度提升高达 100x，甚至快于 PyTorch。该功能基于 GPT-2 等模型演示了采样、Beam Search 及温度控制等生成策略，需 transformers >= 4.21.0 版本。
Hugging Face BlogAI 评分4040 使用 TF Serving 在 Hugging Face 部署 TensorFlow 视觉模型
Hugging Face 团队演示如何利用 TF Serving 本地部署 Vision Transformer (ViT) 图像分类模型，支持 REST 和 gRPC 端点。
Hugging Face BlogAI 评分1818 Hugging Face 深度强化学习课程讲解 Advantage Actor Critic (A2C)
Hugging Face 在深度强化学习课程中介绍 Advantage Actor Critic (A2C)，该混合架构结合基于策略的 Actor 和基于价值的 Critic，旨在解决 Reinforce 算法因蒙特卡洛采样导致的高方差问题。
Hugging Face BlogAI 评分2323 Hugging Face 演示如何使用对抗数据动态训练模型
Hugging Face 博客以 MNIST 手写数字识别为例，演示了动态对抗数据收集（DADC）流程。通过 🤗 Spaces 让用户绘制数字欺骗模型并标记样本，再将其用于重新训练以提升鲁棒性。文中展示了基于 PyTorch 的卷积网络配置及 Gradio 内置的 flagging 回调功能。
Hugging Face BlogAI 评分4545 BLOOM 176B 模型训练技术解析
Hugging Face 公布 176B 参数多语言模型 BLOOM 的训练工程细节。该模型基于 GPT3 架构，在 Jean Zay 超算上利用 384 张 NVIDIA A100 80GB GPU，通过 Megatron-DeepSpeed 框架耗时 3.5 个月完成训练。项目处理了涵盖 46 种语言的 350B tokens 数据集，实现了大规模分布式并行训练的技术突破。
Hugging Face BlogAI 评分4545 使用 Sentence Transformers 和 Gradio 构建歌单生成器
基于 `sentence-transformers/msmarco-MiniLM-L-6-v3` 模型将歌词按段落分块并生成嵌入向量，通过语义搜索匹配提示词以构建歌单。利用 Gradio Blocks API 封装多步交互应用并托管于 Hugging Face Spaces，实验显示设置 `top_k=20` 时通常能获取至少 9 首不同歌曲。
Hugging Face BlogAI 评分2828 Hugging Face 推出 Twitter 情感分析入门指南
Hugging Face 发布 Twitter 情感分析指南，介绍如何利用 Inference API 对推文进行正负中性分类。该方案支持通过 Tweepy 获取数据并实时处理，旨在帮助企业规模化监测品牌舆情与用户反馈。