Hugging Face Accelerate 如何利用 PyTorch 运行超大模型

Hugging Face Accelerate 利用 PyTorch meta device 创建空模型并自动计算设备映射，从而在有限内存下加载 OPT-6.7B 等大语言模型。该方案通过分块加载权重至 GPU、CPU 或磁盘，避免了传统方法中因同时持有模型结构与权重副本导致的内存溢出问题。