Hugging Face 多模态研究团队发布伦理宪章
Hugging Face 多模态学习小组于2022年5月发布伦理宪章，将道德原则纳入机器学习生命周期核心。该文档明确了禁止生成有害内容、偏见及侵犯隐私等使用限制，并倡导透明、开放可复现、公平及自我批判的价值观。
#安全/对齐
#安全/对齐
今日 0 条Hugging Face BlogAI 评分1515
OpenAI NewsAI 评分2121 OpenAI 探讨如何衡量与应对 Goodhart's law
OpenAI 指出在优化难以或昂贵测量的目标时，需应对 Goodhart's law。该定律表明当指标成为目标时，其作为良好衡量标准的有效性便会失效。
Hugging Face BlogAI 评分2828 Hugging Face 专家 Margaret Mitchell 谈伦理 AI 与数据偏见
Hugging Face 研究员 Margaret Mitchell 在播客中分享其从 Google 伦理 AI 团队到 HF 的经历，强调数据偏见对模型输出的影响。她指出视觉语言模型因训练数据偏差可能将爆炸场景误判为美景，呼吁 ML 团队建立包容性文化并完善伦理评估协议。
OpenAI NewsAI 评分2626 OpenAI 分享语言模型安全与滥用防范经验
OpenAI 发布关于语言模型安全与滥用的最新思考，旨在协助其他 AI 开发者应对已部署模型的安全挑战。该文章聚焦于分享在防止模型被恶意使用方面的实践经验，为行业提供安全治理参考。
OpenAI News精选AI 评分7878 OpenAI 发布 InstructGPT 并设为 API 默认模型
OpenAI 推出 InstructGPT 模型，该模型在遵循用户意图、真实性和低毒性方面优于 GPT-3，现已作为默认语言模型部署于其 API。InstructGPT 采用人类反馈强化学习技术训练，旨在更好地对齐用户指令。
推荐理由：OpenAI 官方宣布 InstructGPT 成为 API 默认模型，展示了通过人类反馈提升指令遵循能力与降低毒性的具体成果。
OpenAI NewsAI 评分2323 OpenAI 利用人类反馈总结书籍
OpenAI 展示如何利用人类反馈机制，让 AI 系统完成“总结书籍”这一难以自动评估的任务。该研究旨在探索通过扩展人类监督（Scaling human oversight）来提升模型在复杂主观任务中的表现能力。
OpenAI NewsAI 评分2626 OpenAI 参与多机构报告提出提升 AI 开发可验证性的 10 种机制
OpenAI 与 30 家组织的 58 位作者共同发布报告，提出 10 种机制以提升对 AI 系统声明的可验证性。开发者可利用这些工具证明 AI 系统在安全、公平及隐私保护方面的合规性。用户、政策制定者及公民社会也可借助该框架评估 AI 开发过程。
OpenAI NewsAI 评分2828 OpenAI 发布 Microscope：八种视觉模型神经层与神经元可视化集合
OpenAI 推出 Microscope，提供八种常用于可解释性研究的视觉“模式生物”中所有重要层和神经元的可视化集合。该工具旨在简化对神经网络内部形成特征的分析，助力研究社区理解复杂系统。
OpenAI NewsAI 评分3535 OpenAI 发布 Safety Gym
OpenAI 发布 Safety Gym，这是一套用于衡量强化学习智能体在训练过程中遵守安全约束进度的环境和工具套件。
OpenAI NewsAI 评分3737 OpenAI 基于人类偏好微调 GPT-2
OpenAI 利用人类反馈对 774M 参数 GPT-2 模型进行微调，成功匹配外部标注员偏好。摘要任务需 60k 标签导致模型倾向复制原文，简单续写任务仅需 5k 标签。此举旨在通过“机器与人对话”场景探索提取人类价值观的安全技术。
OpenAI NewsAI 评分2424 OpenAI 提出 UAR 指标以评估神经网络对抗未知攻击的鲁棒性
OpenAI 开发了一种新方法，用于评估神经网络分类器能否可靠防御训练中未见过的对抗攻击。该方法引入了新指标 UAR（Unforeseen Attack Robustness），专门衡量单个模型对意外攻击的鲁棒性。研究强调需在更多样化的未知攻击范围内测量模型性能。
OpenAI NewsAI 评分2222 OpenAI 提出四项策略促进 AI 安全领域行业合作
OpenAI 发布政策研究论文，提出沟通风险与收益、技术协作、增强透明度及激励标准四项策略，以促进行业在 AI 安全规范上的长期合作。分析指出竞争压力可能导致集体行动困境，使企业减少安全投入，而行业合作对确保 AI 系统安全有益至关重要。
OpenAI NewsAI 评分2424 OpenAI 推出 Activation Atlases 神经元交互可视化技术
OpenAI 与 Google 研究人员合作推出 Activation Atlases，这是一种用于可视化神经元交互所代表含义的新技术。该技术旨在帮助理解 AI 系统的内部决策过程，从而识别弱点并调查故障，以应对日益敏感的应用场景。
OpenAI NewsAI 评分2828 OpenAI 呼吁 AI 安全研究引入社会科学家
OpenAI 发表论文主张长期 AI 安全研究需引入社会科学家，以确保对齐算法在涉及真实人类时成功。解决高级 AI 系统与人类价值观的对齐问题，需处理人类理性、情感及偏见相关的心理学不确定性。OpenAI 计划招聘社会科学家全职参与该领域工作，旨在促进机器学习与社会科学研究者的协作。
OpenAI NewsAI 评分2727 OpenAI 提出迭代放大技术以解决复杂目标对齐问题
OpenAI 提出名为“迭代放大”的 AI 安全技术，旨在通过任务分解而非标注数据或奖励函数来指定超出人类规模的复杂行为与目标。该技术目前处于早期阶段，仅在简单玩具算法领域完成实验，但被视为一种潜在可扩展的 AI 安全方案。
OpenAI NewsAI 评分2727 OpenAI 提出通过辩论实现 AI 安全
OpenAI 提出一种 AI 安全技术，训练智能体相互辩论话题。该方法利用人类裁判判定辩论胜负，以此提升模型安全性。
OpenAI NewsAI 评分1818 OpenAI 发布论文预测 AI 恶意滥用及防范措施
OpenAI 联合 Future of Humanity Institute 等机构发表论文，预测恶意行为者滥用 AI 技术的方式及防范缓解措施。该成果基于近一年的持续合作研究。
OpenAI NewsAI 评分3030 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，这是其用于通过偶尔的人类反馈而非手工奖励函数来训练 AI 的接口实现。该技术旨在迈向安全 AI 系统，同时也适用于那些难以指定奖励的强化学习问题。
OpenAI NewsAI 评分4040 OpenAI 发布可欺骗神经网络分类器的鲁棒对抗性输入
OpenAI 创建了能在不同尺度和视角下可靠欺骗神经网络分类器的图像。这一成果挑战了上周关于自动驾驶汽车因多尺度、多角度采集图像而难以被恶意欺骗的说法。
OpenAI NewsAI 评分3838 OpenAI 与 DeepMind 合作开发基于人类偏好的算法
OpenAI 联合 DeepMind 安全团队推出一种新算法，通过比较两种行为优劣来推断人类意图。该方法旨在消除人工编写目标函数的需求，避免因使用复杂目标的简单代理或定义偏差导致危险行为，是构建安全 AI 系统的一步。
OpenAI NewsAI 评分1515 OpenAI 解析对抗样本攻击机器学习模型的原理与防御难点
OpenAI 展示对抗样本如何作为恶意输入导致机器学习模型出错，其原理类似机器的视觉错觉。文章分析了不同媒介下对抗样本的运作机制，并探讨了系统防御此类攻击的难度。
OpenAI NewsAI 评分1515 OpenAI 探讨强化学习中奖励函数错误导致的意外失效
OpenAI 指出强化学习算法可能因奖励函数设定错误而出现反直觉的失效。该分析聚焦于这一特定失败模式，揭示了模型在错误激励下的异常行为机制。
OpenAI NewsAI 评分3535 OpenAI 等机构联合 Google Brain 发布《Concrete Problems in AI Safety》论文
OpenAI 与 Berkeley、Stanford 研究人员联合 Google Brain 共同发表《Concrete Problems in AI Safety》论文。该研究探讨了确保现代机器学习系统按预期运行所面临的多个具体安全问题。