在单张 AMD GPU 上使用 ROCm 运行 Vicuna 13B 聊天机器人

Hugging Face 演示如何在单张 AMD GPU 上通过 ROCm 平台运行 Vicuna 13B 模型。该模型拥有 130 亿参数，利用 GPTQ 技术进行 4-bit 量化后显著降低显存需求，并在 Instinct MI210 等硬件上完成部署验证。