Hugging Face 详解如何将 LLM 微调至 1.58bit 极限量化

Hugging Face 发布技术博客，介绍如何通过特定技巧将现有的 Llama3 8B 模型微调至 BitNet 架构支持的 1.58bit 极限量化水平。团队通过引入动态 lambda 值逐步应用量化以解决权重分布突变导致的性能损失，最终在仅使用 10B tokens 微调的情况下使模型在 MMLU 基准测试中超越 Llama 1 7B。