Hugging Face 介绍如何使用 Unsloth 将 LLM 微调速度提升 2 倍
Hugging Face 博客介绍了社区开发的轻量级工具 Unsloth，该工具与 🤗 TRL 库完全兼容，可将大语言模型（LLM）的微调速度提升最高 2.7 倍，同时减少高达 74% 的显存使用量且精度零损失。
推荐理由：原文提供了 Unsloth 与 TRL 集成的具体代码示例和基准测试数据，展示了在不损失精度的情况下显著降低显存占用并加速微调的方法。
Hugging Face
全部主题Hugging Face 开源社区动态：热门模型与数据集、排行榜变化与开源生态的晴雨表。
最新精选
第 221–240 条 · 共 269 条Hugging Face Blog精选AI 评分7878
Hugging Face Blog精选AI 评分6363 Hugging Face 发布高效非扩散文本到图像模型 aMUSEd
Hugging Face 发布了名为 aMUSEd 的高效非扩散文本到图像模型，这是 Google MUSE 的开源复现版本。该模型采用掩码图像建模方法，参数量仅约 800M，支持零样本图像修复，并已在 diffusers 库中集成。用户可通过 LoRA 在 7GB 显存下完成微调，模型遵循 OpenRAIL 许可证允许商业使用。
推荐理由：原文给出了基于掩码建模的非扩散架构细节及低显存微调方案，读者可据此评估其在推理效率与端侧部署上的实际潜力。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SDXL Dreambooth LoRA 高级训练脚本与最佳实践指南
Hugging Face 发布了结合 Pivotal Tuning 和 Prodigy 优化器的 SDXL Dreambooth LoRA 高级训练脚本，旨在通过少量图像实现高质量概念捕捉并降低计算资源需求。该指南详细解析了文本编码器学习率、自定义标题、Min-SNR Gamma 加权等关键技巧，并展示了在 diffusers 库中的具体代码实现及在不同场景下的实验对比结果。
推荐理由：整合了Pivotal Tuning与Prodigy优化器等前沿技巧，提供了可直接复用的SDXL LoRA微调脚本及详细参数配置指南。
Hugging Face Blog精选AI 评分6565 Hugging Face 演示通过推测解码实现 Whisper 推理 2 倍加速
Hugging Face 博客展示如何利用推测解码（Speculative Decoding）将 Whisper 模型的推理速度提升约 2 倍，同时保证输出结果与原模型完全一致。文章详细给出了使用 Distil-Whisper 或 Whisper tiny 作为辅助模型的技术实现代码、英语及多语言场景下的基准测试结果，并说明了选择辅助模型和控制批次大小等优化策略。
推荐理由：原文提供了在 Hugging Face Transformers 中利用辅助模型实现 Whisper 推理加速的具体代码与基准测试数据，展示了无损提速的工程落地路径。
Hugging Face Blog精选AI 评分8787 Hugging Face 宣布支持 Mistral 发布的 SOTA 混合专家模型 Mixtral
Hugging Face 正式支持 Mistral 发布的 Mixtral 8x7b 模型，该模型采用 Mixture of Experts (MoE) 架构，在多个基准测试中超越 GPT-3.5 并创下开源模型新纪录。
推荐理由：原文详细说明了 Mixtral 在 Hugging Face 生态中的集成方式、推理部署选项及微调示例，为开发者提供了从模型获取到生产环境落地的完整技术路径。
Hugging Face Blog精选AI 评分6565 Hugging Face 宣布支持 AMD Instinct GPU 的大语言模型开箱即用加速
Hugging Face 宣布其 Transformers 库和 Text Generation Inference (TGI) 现已原生支持 AMD Instinct MI250 等 GPU，用户无需修改代码即可在 AMD 硬件上运行大语言模型。
推荐理由：原文展示了 AMD GPU 在无需修改代码的情况下运行 Hugging Face 模型的能力，并提供了与 NVIDIA A100 对比的性能基准数据。
Hugging Face Blog精选AI 评分8585 Hugging Face 发布 Latent Consistency LoRAs 实现 SDXL 4 步快速生成
Hugging Face 推出 Latent Consistency Models (LCM) LoRAs，允许在 Stable Diffusion XL 和 SD v1.5 等模型上通过仅 4-8 步推理实现高质量图像生成，显著加速过程（如 M1 Mac 上从约 60 秒降至 6 秒）。
推荐理由：提供了将LCM LoRA应用于SDXL等模型的具体代码与基准测试，展示了如何在保持画质的前提下大幅降低推理步数并提升生成速度。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布个人编程助手微调指南
Hugging Face 发布教程展示如何微调 StarCoder 模型创建个人编程助手 HugCoder。文章详述了从 GitHub 收集数据、使用 PEFT (QLoRA) 进行高效微调的流程，并对比了不同硬件配置下的训练成本与效果。此外，还提供了通过 VS Code 插件集成云端推理端点以及在 Mac 等消费级设备上本地部署小参数模型的实操步骤。
推荐理由：原文提供了基于私有代码库微调 StarCoder 的完整工作流，包含 QLoRA 与全量微调的成本对比及本地部署方案。
Hugging Face Blog精选AI 评分7373 Hugging Face 详解 RLHF with PPO 的实现细节及优化器差异
Hugging Face 团队发布博客文章，详细解析了基于 PPO 的 RLHF（人类反馈强化学习）实现细节。该研究成功复现了 OpenAI 2019 年 lm-human-preferences 代码库的学习曲线，并整理了一份关键实施清单。
推荐理由：原文通过复现 OpenAI 早期 RLHF 代码，揭示了 PyTorch 与 TensorFlow Adam 优化器在数值实现上的差异及其对模型训练稳定性的具体影响。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Gradio-Lite：在浏览器中直接运行 Gradio 应用
Hugging Face 推出 @gradio/lite，这是一个利用 Pyodide 技术让 Gradio 应用直接在浏览器中运行的 JavaScript 库。
推荐理由：官方介绍了基于 Pyodide 的浏览器端 Gradio 运行方案，展示了无需服务器即可部署交互式 ML 应用的代码示例与隐私优势。
Hugging Face Blog精选AI 评分6363 Hugging Face 推出 Chat Templates 以解决聊天模型格式错配问题
Hugging Face 在 tokenizers 中引入 chat_template 属性，允许使用 Jinja 模板保存和加载模型训练时的聊天格式。该功能旨在解决不同模型采用各异的消息转换格式导致输入分布偏移、进而引发严重且难以调试的性能下降问题。开发者可通过 tokenizer.apply_chat_template() 方法自动格式化对话历史，确保推理或微调时的输入与训练数据一致。
推荐理由：原文提供了将聊天格式作为Jinja模板存入tokenizer的方法，有助于开发者规避因格式不匹配导致的模型性能静默下降。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解 LLM 生产环境优化：低精度、Flash Attention 与架构创新
Hugging Face 发布博客文章，系统介绍了大语言模型在生产环境中降低显存需求和提升推理效率的三大核心技术：低精度量化（8-bit/4-bit）、Flash Attention 算法以及针对长文本优化的模型架构（如 RoPE、ALiBi、MQA 和 GQA）。
推荐理由：原文通过代码实测对比了低精度量化、Flash Attention 及 MQA/GQA 架构在显存占用与推理速度上的具体差异，为 LLM 生产环境优化提供了可复用的技术选型依据。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 SDXL 的 T2I-Adapter 支持指南与模型权重
Hugging Face Diffusers团队联合T2I-Adapter作者发布了针对Stable Diffusion XL (SDXL)的T2I-Adapter支持，提供sketch、canny、lineart、depth和openpose等多种条件的预训练检查点。
推荐理由：原文提供了T2I-Adapter在SDXL上的训练细节、参数对比及diffusers库中的具体代码用法，便于开发者复现高效可控生成。
Hugging Face Blog精选AI 评分8282 Hugging Face 上线 TII Falcon 180B 开源大模型
TII 发布的 Falcon 180B 正式登陆 Hugging Face Hub，提供 base 和 chat 版本。该模型拥有 1800 亿参数，基于 RefinedWeb 数据集在 3.5 万亿 tokens 上完成预训练，是当时最大的公开可用语言模型。其性能在多项基准测试中超越 Llama 2 70B，接近 PaLM-2 Large，但商用许可对托管使用有严格限制。
推荐理由：原文给出了 Falcon 180B 的参数量、训练数据规模及硬件需求，读者可据此评估其在开源大模型中的性能定位与部署门槛。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 AudioLDM 2 在 Diffusers 中的推理加速教程
Hugging Face 发布教程展示如何在 🧨 Diffusers 库中优化 AudioLDM 2 模型的推理速度，将生成 10 秒音频的时间从约 30 秒缩短至不到 1 秒。
推荐理由：原文通过逐步演示代码优化技巧，展示了如何将 AudioLDM 2 的推理时间缩短十倍以上，为开发者提供了可直接复用的性能调优方法。
Hugging Face Blog精选AI 评分8686 Hugging Face 发布 Code Llama 集成支持
Hugging Face 宣布在生态系统中集成 Meta 发布的 Code Llama 模型系列，提供 transformers 4.33+ 支持、Text Generation Inference 部署及 VS Code 扩展。
推荐理由：原文给出了 Code Llama 在 Hugging Face 生态中的集成方式、不同参数规模的能力差异以及具体的部署与微调建议，读者可以据此判断如何将其接入现有开发工作流。
Hugging Face Blog精选AI 评分7878 Hugging Face 在 Transformers 中集成 AutoGPTQ 以支持 LLM 量化
Hugging Face 宣布将 AutoGPTQ 库集成到 Transformers 中，允许用户使用 GPTQ 算法以 8、4、3 或 2-bit 精度对大语言模型进行量化和运行。
推荐理由：官方详细说明了 AutoGPTQ 集成后的量化精度、显存节省数据及多硬件支持情况，为开发者评估低资源部署方案提供了具体技术依据。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布开源视觉语言模型 IDEFICS
Hugging Face 推出开源视觉语言模型 IDEFICS，作为 DeepMind Flamingo 的公开复现版本。该模型提供 9B 和 80B 参数两种规模及指令微调变体，支持图文交错输入与文本生成。训练数据包含新创建的 115B token 数据集 OBELICS，模型权重在 Hugging Face Hub 上线并集成至 transformers 库。
推荐理由：原文公开了基于 Flamingo 架构的开源复现细节及 OBELICS 数据集，为社区提供了可验证的多模态大模型训练基准。
Hugging Face Blog精选AI 评分7373 Hugging Face 发布 Swift Transformers 等工具以支持在苹果设备运行 LLM
Hugging Face 发布 swift-transformers、swift-chat 及更新的模型导出工具，旨在帮助开发者在 Mac 和 iPhone 等苹果设备上通过 Core ML 运行 Llama 2 等大语言模型。
推荐理由：原文提供了在苹果设备上运行大语言模型的完整工具链和转换指南，开发者可据此评估本地化部署的可行性。
Hugging Face Blog精选AI 评分7777 Hugging Face 发布使用 DPO 微调 Llama 2 的实践指南
Hugging Face 博客介绍了如何在 TRL 库中使用直接偏好优化（DPO）方法微调 Llama v2 7B 模型。文章详细演示了从监督微调（SFT）到 DPO 训练的全流程，包括数据格式准备、QLoRA 配置及关键超参数 beta 的设置，并提供了可复用的代码示例和最终模型链接。
推荐理由：提供了在TRL库中使用DPO微调Llama 2的完整代码与流程，展示了如何绕过复杂RLHF步骤直接优化偏好数据。