Hugging Face 发布 TRL 库支持 VLM 直接偏好优化教程

Hugging Face 宣布 TRL 库现已支持对视觉语言模型进行直接偏好优化（DPO）。该教程以 Idefics2-8b 为例，展示了如何利用 LoRA 和量化技术将显存需求从 160GB 降至约 32.3GB，并在 AMBER 基准测试中验证了微调后模型幻觉率的降低。