Hugging Face Transformers 原生支持量化方案概览：bitsandbytes 与 auto-gptq 对比

Hugging Face Transformers 原生集成 bitsandbytes 和 auto-gptq 两种量化方案，分别适用于零样本推理/微调及高速文本生成。bitsandbytes 支持多模态模型且无需校准数据，但 4-bit 权重暂不支持序列化；auto-gptq 在文本生成上速度更快并支持 AMD GPU，但需数小时进行模型校准。