Hugging Face 解析 PEFT 技术：LoRA 并非微调的最优默认选择

Hugging Face 发布博客探讨参数高效微调（PEFT）技术，指出虽然 LoRA 占据主导地位，但其他技术在特定场景下表现更优。团队在 LLM 数学推理和图像生成任务上对超过 40 种 PEFT 技术进行了标准化基准测试，结果显示 OFT 在图像生成的相似度和显存占用上均优于 LoRA，而 BEFT 和 Lily 等变体在 LLM 任务的精度与内存权衡中也展现出竞争力。