OpenAI 基于人类偏好微调 GPT-2

OpenAI 利用人类反馈对 774M 参数 GPT-2 模型进行微调，成功匹配外部标注员偏好。摘要任务需 60k 标签导致模型倾向复制原文，简单续写任务仅需 5k 标签。此举旨在通过“机器与人对话”场景探索提取人类价值观的安全技术。