使用 PyTorch FSDP 微调 Llama 2 70B

Hugging Face 演示如何利用 PyTorch FSDP、Transformers、Accelerate 和 TRL 微调 Llama 2 70B。通过仅在 rank 0 加载权重并广播至其他设备，解决了多 GPU 并行加载导致的 CPU 内存溢出问题。该方案在 2 节点 16 张 A100 GPU 环境下运行，显著降低了显存占用并提升了训练速度。