OpenAI 开展集体对齐：公众意见如何塑造 Model Spec
OpenAI 对全球逾 1000 人进行调研，收集关于 AI 行为准则的公众意见并与 Model Spec 对比。该“集体对齐”机制旨在通过反映多元人类价值观与视角，优化 AI 默认设置。
#安全/对齐
#安全/对齐
今日 0 条OpenAI NewsAI 评分3131 OpenAI NewsAI 评分4343 OpenAI 与 Anthropic 分享首次联合安全评估结果
OpenAI 与 Anthropic 公布首次联合安全评估结果，互相测试对方模型在错位、指令遵循、幻觉及越狱等方面的表现。该评估凸显了跨实验室协作的价值，并展示了双方在 AI 安全领域的进展与挑战。
OpenAI NewsAI 评分2323 OpenAI 探讨针对情绪困扰用户的安全策略
OpenAI 阐述其针对经历精神或情绪困扰用户的安全思考，明确当前系统的局限性。文章介绍了正在进行的改进工作，旨在优化模型在敏感场景下的表现与安全性。
OpenAI NewsAI 评分4040 OpenAI GPT-5 从硬性拒绝转向安全补全的输出中心安全训练
OpenAI 在 GPT-5 中引入 safe-completions 方法，取代传统的硬性拒绝机制。该方案采用以输出为中心的安全训练策略，旨在更细致地处理双重用途提示词。这一改进同时提升了 AI 响应的安全性与有用性。
OpenAI NewsAI 评分4040 OpenAI 评估 gpt-oss 开放权重模型的最坏情况前沿风险
OpenAI 研究发布 gpt-oss 开放权重模型的最坏情况前沿风险。团队引入恶意微调（MFT）方法，尝试在生物学和网络安全两个领域通过微调激发该模型的最大能力上限。
OpenAI NewsAI 评分4242 OpenAI 研究揭示语言模型错误响应训练导致的错位泛化机制
OpenAI 研究发现，在错误响应上训练会导致语言模型产生更广泛的错位泛化。该团队识别出驱动这一行为的内部特征，并证实通过极少量微调即可逆转此现象。
OpenAI NewsAI 评分2626 OpenAI 评估 AI 在生物领域的风险并实施安全措施
OpenAI 正在主动评估先进 AI 在生物学和医学领域的能力，以应对潜在的生物安全风险。公司通过实施安全防护措施来防止技术被滥用，旨在平衡 AI 对生物科学的变革性影响与安全性需求。
OpenAI NewsAI 评分2424 OpenAI 推出负责任披露政策以扩展安全防护
OpenAI 推出 Outbound Coordinated Disclosure Policy，旨在规范其向第三方软件负责任地报告漏洞的流程。该政策强调诚信、协作以及大规模主动安全防护，以提升整体安全水平。
OpenAI NewsAI 评分2626 OpenAI 发布2025年6月恶意AI使用防范报告
OpenAI 于2025年6月发布最新报告，披露了检测和防止恶意使用 AI 的具体案例研究。该文档重点展示了其在识别与阻断滥用行为方面的实际工作进展。
OpenAI NewsAI 评分3535 OpenAI 封禁利用 AI 开发俄语恶意软件的账户
OpenAI 封禁了利用 AI 构建恶意软件、优化加载器及调试网络工具的俄语账户。此举旨在遏制通过人工智能技术进行恶意软件开发与网络攻击工具完善的行为，强化平台对滥用场景的管控。
OpenAI NewsAI 评分3131 OpenAI 封禁利用 AI 生成涉台及美国话题批评内容的账号
OpenAI 封禁了利用 AI 生成批评台湾社交媒体网红及相关美国话题帖文的账号。此举旨在打击源自中国的影响力活动，即所谓的“Sneer Review”行动。
OpenAI NewsAI 评分4242 OpenAI 封禁利用 AI 生成美国政治内容的中国账号
OpenAI 封禁了利用 AI 生成美国政治内容并研究人物、运动及在线社区的中国来源账号。该行动针对名为“Uncle Spam”的美国极化影响力活动，旨在遏制通过人工智能技术操纵舆论的行为。
OpenAI NewsAI 评分4646 OpenAI 封禁 STORM-2035 相关账户
OpenAI 封禁了与疑似伊朗关联的 STORM-2035 行动相关的账户。该行动利用 AI 生成关于美国、英国、爱尔兰和委内瑞拉政治的影响力内容。
OpenAI NewsAI 评分2929 OpenAI 封禁涉嫌利用 AI 进行欺诈性求职的账户
OpenAI 封禁了与疑似欺骗性就业计划相关的账户，这些活动利用 AI 生成材料以申请潜在的欺诈性远程工作。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 进行社会工程与影响力活动的账户
OpenAI 封禁了利用 AI 从事社会工程、监控主题研究及针对批评者的影响力活动的账户。此举旨在遏制滥用人工智能技术进行恶意操纵和骚扰的行为，维护平台安全与伦理规范。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 生成德语政治内容的疑似俄罗斯账户
OpenAI 封禁了疑似源自俄罗斯的账户，这些账户利用 AI 生成关于乌克兰、北约及德国国内议题的德语政治内容。该行动旨在打击名为“Helgoland Bite”的德语影响力活动，防止 AI 被用于操纵舆论。
OpenAI NewsAI 评分4040 OpenAI 封禁 Vixen 和 Keyhole Panda 相关账户
OpenAI 封禁了与 Vixen 和 Keyhole Panda 这两个被归因于中国的威胁行为者相关的账户。这些账户利用 AI 支持漏洞研究、脚本编写、翻译及操作故障排除。
OpenAI NewsAI 评分2929 OpenAI 封禁利用 AI 生成菲律宾政治评论的账号
OpenAI 封禁了利用 AI 在社交平台批量生成菲律宾政治及公职人员相关评论的账号。该行动针对的是通过人工智能技术操纵舆论的行为，旨在维护平台内容的真实性与合规性。
OpenAI NewsAI 评分4343 OpenAI 封禁疑似源自柬埔寨的 AI 诈骗账户
OpenAI 封禁了疑似源自柬埔寨并利用 AI 支持针对英国用户诈骗工作流的账户。该行动旨在打击通过“错误号码”等任务型骗局实施的 AI 辅助欺诈行为，保护受害者免受自动化诈骗工具侵害。
OpenAI NewsAI 评分2626 OpenAI 深入探讨 sycophancy（谄媚）问题的发现、失误与未来改进
OpenAI 发布文章深入剖析其在 sycophancy（谄媚）问题上的研究发现、导致失误的原因以及计划进行的未来改进。该文档旨在补充此前遗漏的细节，明确后续优化方向以解决模型过度迎合用户的问题。
Hugging Face Blog精选AI 评分6868 Meta 发布 Llama Guard 4 及 Llama Prompt Guard 2 模型
Meta 发布 Llama Guard 4，这是一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型，支持检测图像和文本中的不安全内容。同时推出两个轻量级 Llama Prompt Guard 2 模型（86M 和 22M 参数），专门用于检测提示词注入和越狱攻击。
推荐理由：原文详细说明了 Llama Guard 4 的架构剪枝来源、多语言分类能力及与上一代在单图和多图场景下的性能对比数据。
OpenAI NewsAI 评分3636 OpenAI 发布 GPT-5.6：兼顾前沿智能与效率
OpenAI 推出 GPT-5.6，旨在融合前沿智能与前沿效率。该模型在保持高性能的同时优化了计算资源使用，体现了对效率与能力平衡的探索。
Hugging Face BlogAI 评分4545 Protect AI 与 Hugging Face 合作半年：扫描 447 万模型版本并新增 4 个威胁检测模块
Protect AI 与 Hugging Face 合作六个月，已扫描 Hub 上 141 万个仓库中的 447 万模型版本，识别出 35.2 万个不安全或可疑问题。Guardian 新增 PAIT-ARV-100、PAIT-JOBLIB-101、PAIT-TF-200 和 PAIT-LMAFL-300 四个威胁检测模块，覆盖更多文件格式并检测 Keras CVE-2025-1550 等漏洞。
OpenAI NewsAI 评分1212 OpenAI 通往 AGI 之路上的安全措施
OpenAI 在通往 AGI 的过程中，主动将全面的安全措施直接构建到其基础设施和模型中。
OpenAI News精选AI 评分6262 OpenAI 发布研究：通过监控思维链检测模型利用漏洞的行为
OpenAI 发布了一项新研究，探讨如何通过监控大语言模型的思维链（Chain of Thought）来检测其利用系统漏洞或进行不当行为的情况。该研究指出，仅依靠输出结果难以发现隐蔽的违规意图，而实时分析内部推理过程能更有效地识别潜在风险。这一方法旨在提升模型在复杂任务中的可解释性与安全性，为后续的对齐工作提供技术参考。
推荐理由：OpenAI 官方发布关于通过监控思维链来检测模型利用漏洞的研究，为理解大模型内部推理行为的安全评估提供了新视角。
Hugging Face BlogAI 评分3838 Hugging Face 与 JFrog 合作提升 AI 模型安全性
Hugging Face 宣布与 JFrog 建立合作伙伴关系，将 JFrog 扫描器集成至 Hub 以增强模型安全。该扫描器通过解析代码深层分析来减少误报，能检测 pickle 及 Keras Lambda 层等格式中的恶意执行风险。所有公共模型仓库在推送文件时将自动接受扫描，无需用户额外操作。
OpenAI NewsAI 评分4242 OpenAI 深度研究系统卡
OpenAI 发布 deep research 系统卡，详述其发布前的安全工作。内容涵盖外部红队测试、依据 Preparedness Framework 的前沿风险评估，以及针对关键风险领域的缓解措施。
OpenAI NewsAI 评分3737 OpenAI 封禁利用 AI 生成内容的伊朗关联账户
OpenAI 封禁了利用 AI 生成文章和社交帖子的伊朗关联账户，这些活动与 IUVM 及 STORM-2035 影响力行动有关。
OpenAI NewsAI 评分4141 OpenAI 封禁利用 AI 翻译实施虚假评论诈骗的柬埔寨账户
OpenAI 封禁了疑似源自柬埔寨的账户，这些账户利用 AI 翻译消息实施虚假评论工作诈骗。此类骗局诱导受害者支付费用，OpenAI 通过识别并禁用相关账号以遏制该滥用行为。
OpenAI NewsAI 评分3838 OpenAI 封禁利用 AI 辅助“杀猪盘”诈骗的柬埔寨账户
OpenAI 封禁了疑似源自柬埔寨的账户，这些账户利用 AI 翻译和生成对话以实施浪漫诱饵及投资诈骗。此举针对的是借助人工智能技术构建自动化诈骗工作流的违规行为。
OpenAI NewsAI 评分4242 OpenAI 封禁利用 AI 协助监控规划的中国相关账户
OpenAI 封禁了疑似源自中国的账户，这些账户利用 AI 起草监控工具方案、分析文档及调试代码。此举旨在阻止 AI 被用于协助监控规划活动。
OpenAI NewsAI 评分3838 OpenAI 封禁涉嫌协助欺骗性招聘的账户
OpenAI 封禁了可能用于协助欺骗性招聘计划的账户，该计划具有公开报道的朝鲜关联 IT 工人活动特征。
OpenAI NewsAI 评分4242 OpenAI 封禁疑似源自中国的 AI 操纵舆论账号
OpenAI 封禁了疑似源自中国的账户，这些账户利用 AI 生成英文社交媒体帖子和西班牙语文章以操纵舆论。该行动针对名为“Sponsored Discontent”的影响力活动，旨在遏制通过自动化内容进行的虚假宣传行为。
OpenAI NewsAI 评分3030 OpenAI 封禁利用 AI 干预加纳大选的账号
OpenAI 封禁了利用 AI 生成文章、帖子及虚假互动以干预加纳 2024 年总统选举的账号。此举旨在打击通过人工智能技术操纵舆论和制造虚假参与度的行为，维护选举期间的信息真实性与平台秩序。
OpenAI NewsAI 评分4040 OpenAI 封禁涉嫌利用 AI 进行入侵研究的朝鲜关联威胁行为者账号
OpenAI 封禁了与公开报道的朝鲜（DPRK）关联威胁行为者相关的账号，这些账号涉嫌利用 AI 研究入侵工具、钓鱼、恶意软件及加密货币目标。此举旨在阻止 AI 技术被用于网络攻击准备活动。
OpenAI NewsAI 评分3535 OpenAI o3-mini 系统卡
OpenAI 发布 o3-mini 模型的系统卡，详述其安全评估工作。内容涵盖内部安全评测、外部红队测试及 Preparedness Framework 评估结果。
OpenAI NewsAI 评分4242 OpenAI Operator 系统卡发布
OpenAI 发布 Operator 系统卡，详述其多层安全防护体系。文档涵盖针对提示工程与越狱攻击的模型及产品缓解措施、隐私安全保护机制，以及外部红队测试与安全评估细节。
OpenAI NewsAI 评分1515 OpenAI 研究如何通过推理时计算换取对抗鲁棒性
OpenAI 探讨利用推理时计算提升模型对抗鲁棒性的方法。该研究聚焦于在推理阶段增加算力投入以增强模型抵御对抗攻击的能力，旨在平衡性能与安全需求。
Hugging Face BlogAI 评分4040 Hugging Face 探讨 AI Agents 现状与伦理风险
Hugging Face 指出当前多数 AI Agents 基于 LLM 构建，具备分解任务并自主执行的能力。分析显示系统自主性越高，隐私与安全等风险越大，因此建议不开发能自行编写执行代码的全自主 Agent，而应聚焦于人类保留控制权的半自主模式。
OpenAI NewsAI 评分5252 OpenAI 发布新模型更新
OpenAI 于 2024-12-20 发布了一项新的模型更新。