训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Hugging Face 正式发布了 trl 库与 peft 库的集成方案，使得用户能够在单张 24GB 消费级 GPU（如 NVIDIA 4090）上对 20B 参数的大语言模型进行基于强化学习的人类反馈（RLHF）微调。该方案通过结合 8-bit 量化加载、低秩适配器（LoRA）以及共享参考模型权重等技术，大幅降低了显存需求，并提供了从基础微调到情感导向 RL 训练的完整脚本示例。
推荐理由：原文给出了在单张24GB消费级GPU上微调20B模型的具体步骤和代码示例，为资源受限环境下的RLHF实践提供了可复用的技术路径。
Hugging Face 正式推出 🤗 PEFT 库，集成 LoRA、Prefix Tuning 等参数高效微调技术，旨在解决大模型全量微调算力与存储成本过高的问题。
推荐理由：官方发布 PEFT 库，提供 LoRA 等参数高效微调方法，支持在消费级硬件上低成本训练大模型并实现多任务权重复用。
Hugging Face 在 diffusers 库中正式支持使用 LoRA 技术对 Stable Diffusion 进行高效微调。该方法通过冻结预训练权重并注入可训练层，使全量微调仅需 11 GB VRAM 即可运行，且生成的权重文件仅约 3 MB，比原始 UNet 模型小约一千倍。
推荐理由：原文提供了在 diffusers 中使用 LoRA 进行 Stable Diffusion 微调的具体脚本和推理代码，展示了显著降低显存需求和模型文件大小的实际效果。
Hugging Face 联合 Intel Labs 和 UKP Lab 推出 SetFit，一种用于 Sentence Transformers 少样本微调的高效框架。
推荐理由：原文提供了 SetFit 框架的原理、基准测试对比及代码示例，读者可据此了解如何在少量标注数据下高效微调 Sentence Transformers。
OpenAI 发布分析显示，自 2012 年以来，在 ImageNet 分类任务上达到相同性能所需的神经网络训练计算量每 16 个月减少一半。相比 2012 年，目前训练达到 AlexNet 水平的网络所需计算量减少了 44 倍，这一效率提升幅度超过了同期摩尔定律预期的 11 倍成本改进。结果表明，在高投入的 AI 任务中，算法进步带来的收益已超过传统硬件效率的提升。
推荐理由：OpenAI 官方分析指出算法效率提升速度远超摩尔定律，为理解 AI 算力需求变化提供了量化依据。
OpenAI 发布分析显示，自 2012 年以来，最大规模 AI 训练运行所使用的算力呈指数级增长，其翻倍周期为 3.4 个月。这一增速远超摩尔定律的 2 年翻倍周期，累计增幅超过 300,000 倍。该报告强调算力提升是 AI 进步的关键组成部分，并建议业界为远超当前能力的系统做好准备。
推荐理由：原文提供了 AI 训练算力增长的具体量化趋势，读者可据此评估未来模型能力扩展的硬件基础与潜在瓶颈。