Stable Diffusion 通过 InstructPix2Pix 实现指令微调

Hugging Face 探索利用 InstructPix2Pix 对 Stable Diffusion 进行指令微调，使其能根据文本指令处理输入图像。该方法借鉴 FLAN V2 思路构建数据集，在卡通化等特定任务上比预训练模型表现更忠实。相关代码、预训练模型及数据集已开源发布。