Hugging Face 发布 TRL 与 PEFT 集成指南：在 24GB GPU 上微调 20B LLM

Hugging Face 正式发布了 trl 库与 peft 库的集成方案，使得用户能够在单张 24GB 消费级 GPU（如 NVIDIA 4090）上对 20B 参数的大语言模型进行基于强化学习的人类反馈（RLHF）微调。该方案通过结合 8-bit 量化加载、低秩适配器（LoRA）以及共享参考模型权重等技术，大幅降低了显存需求，并提供了从基础微调到情感导向 RL 训练的完整脚本示例。