最新精选
第 241–260 条 · 共 269 条- Hugging Face Blog精选AI 评分6565
Hugging Face 联合 Apple 发布 Stable Diffusion XL 的 Core ML 版本,并介绍混合位量化技术以优化 Mac 端运行效率。该技术在保持高画质的同时将模型体积压缩至 1.4 GB(减少 71%),支持在 macOS 14 beta 上通过 CPU+GPU 运行。官方已开源转换脚本、推理 Demo 及预计算量化配方,开发者可直接复用或应用于其他微调模型。
推荐理由:文章详解了混合位量化技术原理及在 Stable Diffusion XL 上的应用,提供了从模型转换到性能测试的完整开源工具链。
- Hugging Face Blog精选AI 评分8383
Hugging Face 官方博客于2023年7月18日发布了一篇关于模型发布的文章。
- Hugging Face Blog精选AI 评分6565
Hugging Face 团队分析了 Open LLM Leaderboard 上 MMLU 分数与论文数据不一致的原因,指出不同评估实现导致结果显著差异。文章对比了 EleutherAI Harness、Stanford HELM 和原始实现三种方法在提示词构造及概率计算上的区别,展示了同一模型在不同方法下的得分变化。最终确认社区维护的评估库更新后已对齐原始实现,并将重新运行排行榜以修正数据。
推荐理由:原文通过对比三种 MMLU 实现方式,揭示了评估细节对模型分数的巨大影响,为理解 LLM 评测差异提供了具体案例。
- Hugging Face Blog精选AI 评分6868
Hugging Face 联合 Apple 推出基于 Core ML 的 Stable Diffusion 加速方案,利用 6-bit palettization 技术显著降低模型体积并提升 iPhone、iPad 和 Mac 上的推理速度。
推荐理由:官方展示了 Core ML 6-bit 量化在 iPhone 上的实测提速与内存节省,并提供了可直接下载的优化模型及自定义转换指南。
- Hugging Face Blog精选AI 评分6060
Hugging Face 发布研究,探讨使用 GPT-4 等基础模型进行自动化数据标注和模型评估的可靠性,并将其作为 Open LLM Leaderboard 扩展的一部分。
推荐理由:通过对比人类标注与 GPT-4 自动评估,揭示了后者在偏好判断中的位置偏差及对冗长回复的过度奖励。
- Hugging Face Blog精选AI 评分8484
阿布扎比技术创新研究所(TII)发布的 Falcon 系列开源大语言模型已全面集成至 Hugging Face 生态系统。该系列包含 Falcon-7B 和 Falcon-40B 两个基础版本及对应的指令微调版,均采用 Apache 2.0 许可证并支持商业使用。
推荐理由:原文详细展示了 Falcon 模型在 Hugging Face 生态中的推理、量化及微调全流程,为开发者提供了可直接复用的工程实践指南。
- Hugging Face Blog精选AI 评分9090
Hugging Face 宣布在 transformers 库中集成 bitsandbytes 以支持 4-bit 精度加载模型,并引入 QLoRA 方法实现高效微调。
推荐理由:原文提供了在消费级硬件上运行和微调大模型的 4-bit 量化配置代码与基准测试,读者可据此复现低显存环境下的模型部署。
- Hugging Face Blog精选AI 评分6262
Hugging Face、EleutherAI 和 Stability AI 联合委托 Trail of Bits 对 safetensors 库进行的外部安全审计已完成,结果显示未发现导致任意代码执行的关键安全漏洞。
推荐理由:原文披露了 safetensors 通过外部安全审计的结果及成为默认格式的路径,读者可据此评估模型加载的安全性与性能收益。
- Hugging Face Blog精选AI 评分6565
Hugging Face 官方博客介绍了新架构 RWKV,该架构结合了 RNN 和 Transformer 的优势,并已集成到 transformers 库中。
推荐理由:官方介绍了 RWKV 架构如何结合 RNN 与 Transformer 优势,并展示了在 Hugging Face transformers 库中的集成方式及代码示例。
- Hugging Face Blog精选AI 评分6060
Hugging Face 推出 Assisted Generation 解码方法,通过让小模型快速生成候选序列并由大模型并行验证,将文本生成延迟降低最高 10 倍。该方法已集成至 🤗 Transformers 库,用户只需传入 `assistant_model` 参数即可启用,特别适用于语音识别或摘要等输入导向任务。
推荐理由:原文详细拆解了利用小模型辅助大模型生成以突破显存带宽瓶颈的方法,并提供了在 Transformers 库中直接复用的代码实现与性能基准。
- Hugging Face Blog精选AI 评分6262
Hugging Face 发布教程展示如何将 BigCode 的 StarCoder 模型微调为对话式编程助手 StarChat。文章介绍了使用 ChatML 格式处理 OpenAssistant 数据集、通过 DeepSpeed ZeRO-3 进行训练的技术细节,并探讨了基于 LLM 的自动化评估方法及模型的局限性。
推荐理由:原文详细展示了利用OpenAssistant数据微调StarCoder构建对话式编程助手的全过程,提供了ChatML格式处理、DeepSpeed训练配置及评估方法等可复用的技术细节。
- Hugging Face Blog精选AI 评分7878
Hugging Face 与 ServiceNow 联合发起的 BigCode 项目发布了 StarCoder 和 StarCoderBase 两个代码大模型。
推荐理由:原文披露了 StarCoder 在 HumanEval 等基准上的具体得分及多语言能力,并提供了开源权重与配套工具,适合评估其在代码生成场景的实际表现。
- Hugging Face Blog精选AI 评分7272
Hugging Face 发布教程,演示如何利用 🧨 diffusers 库在免费 Google Colab 上运行 DeepFloyd 的 IF 文本到图像模型。
推荐理由:展示了通过量化和分阶段加载在免费 Colab 运行大参数模型的具体代码,为资源受限环境部署复杂扩散模型提供了可复用的工程方案。
- Hugging Face Blog精选AI 评分7575
Hugging Face 发布了 StackLLaMA 模型的训练指南,展示了如何利用 RLHF 技术微调 LLaMA 7B 模型以回答 Stack Exchange 问题。
推荐理由:原文完整拆解了基于 LLaMA 和 StackExchange 数据的 RLHF 训练全流程,提供了从 SFT、奖励建模到 PPO 优化的具体代码实现与显存优化策略。
- Hugging Face Blog精选AI 评分7070
Hugging Face 发布教程,指导用户利用 diffusers 库训练基于面部关键点条件的 ControlNet 模型。文章以 FaceSynthetics 数据集为例,演示了数据构建、使用 SPIGA 模型生成条件图以及通过 BLIP 添加描述的过程。
推荐理由:原文详细拆解了从数据准备到模型训练的全流程,并提供了针对低显存 GPU 的具体优化参数,适合开发者复现 ControlNet 定制训练。
- Hugging Face Blog精选AI 评分8282
Hugging Face 正式发布了 trl 库与 peft 库的集成方案,使得用户能够在单张 24GB 消费级 GPU(如 NVIDIA 4090)上对 20B 参数的大语言模型进行基于强化学习的人类反馈(RLHF)微调。该方案通过结合 8-bit 量化加载、低秩适配器(LoRA)以及共享参考模型权重等技术,大幅降低了显存需求,并提供了从基础微调到情感导向 RL 训练的完整脚本示例。
推荐理由:原文给出了在单张24GB消费级GPU上微调20B模型的具体步骤和代码示例,为资源受限环境下的RLHF实践提供了可复用的技术路径。
- Hugging Face Blog精选AI 评分8383
Hugging Face 官方博客发布了 ControlNet 在 Diffusers 库中的集成指南,介绍了 StableDiffusionControlNetPipeline 的使用方法。
推荐理由:原文提供了 ControlNet 在 Diffusers 中的完整集成代码与优化技巧,展示了如何将推理时间降至秒级并大幅降低显存占用。
- Hugging Face Blog精选AI 评分6565
Salesforce Research 的 BLIP-2 模型已集成至 Hugging Face Transformers,支持零样本图像描述、提示词引导生成及视觉问答。
推荐理由:原文演示了如何在 Transformers 中调用 BLIP-2 完成图像描述与问答,提供了可复用的代码路径。
- Hugging Face Blog精选AI 评分8080
Hugging Face 正式推出 🤗 PEFT 库,集成 LoRA、Prefix Tuning 等参数高效微调技术,旨在解决大模型全量微调算力与存储成本过高的问题。
推荐理由:官方发布 PEFT 库,提供 LoRA 等参数高效微调方法,支持在消费级硬件上低成本训练大模型并实现多任务权重复用。
- Hugging Face Blog精选AI 评分8282
Hugging Face 在 diffusers 库中正式支持使用 LoRA 技术对 Stable Diffusion 进行高效微调。该方法通过冻结预训练权重并注入可训练层,使全量微调仅需 11 GB VRAM 即可运行,且生成的权重文件仅约 3 MB,比原始 UNet 模型小约一千倍。
推荐理由:原文提供了在 diffusers 中使用 LoRA 进行 Stable Diffusion 微调的具体脚本和推理代码,展示了显著降低显存需求和模型文件大小的实际效果。