Hugging Face Blog·· 2023-08-23精选AI 评分78
Hugging Face 在 Transformers 中集成 AutoGPTQ 以支持 LLM 量化
Making LLMs lighter with AutoGPTQ and transformers
AI 导读
Hugging Face 宣布将 AutoGPTQ 库集成到 Transformers 中，允许用户使用 GPTQ 算法以 8、4、3 或 2-bit 精度对大语言模型进行量化和运行。
推荐理由
官方详细说明了 AutoGPTQ 集成后的量化精度、显存节省数据及多硬件支持情况，为开发者评估低资源部署方案提供了具体技术依据。
来源：Hugging Face Blog · huggingface.co