Hugging Face Blog·· 2024-02-23AI 评分46
Hugging Face 详解 Gemma 模型 LoRA/QLoRA 微调方法
Fine-Tuning Gemma Models in Hugging Face
AI 导读
Hugging Face 发布指南,演示如何使用 Transformers 和 PEFT 库对 Google DeepMind 的 Gemma 2B/7B 开源权重模型进行参数高效微调。教程重点介绍低秩适应(LoRA)及量化版 QLoRA 技术,支持在 GPU 和 Cloud TPU 上通过 PyTorch/XLA 实现低成本适配。
来源:Hugging Face Blog · huggingface.co