Intel 发布 AutoRound：面向 LLM 和 VLM 的高级量化工具

Intel 推出 AutoRound，一种用于大语言模型（LLM）和视觉语言模型（VLM）的权重后训练量化（PTQ）方法。该方法通过联合优化权重舍入和裁剪范围，在 INT2-INT8 低比特量化下保持高精度，例如在 INT2 精度下相对准确率比流行基线高 2.1 倍。