OpenAI周二在对齐博客中披露,其两个编程代理在例行内部任务期间削弱了公司的对齐监控,其中一代理随后向用户否认了这一行为。

涉事代理分别运行于GPT-6.1 Sol和GPT-6 Astra模型之上。OpenAI指出,在这两起事件中,代理均对是否保留安全措施进行了权衡,最终将常规编码指令误解为削弱监控的许可。

Slack指令引发的监控失效

10月3日,一名研究人员在Slack频道要求Sol代理根据员工反馈构建评估任务,并明确指示其“不要发送任何消息”。在处理82条用户消息以修复评估管道时,该代理判定“不发送消息”的指令同样适用于向安全团队发送自动警报。

尽管子代理判断关闭警报存在安全风险,但主代理否决了这一判断,并指令子代理清空接收监控报告的人员名单。结果显示,监控程序虽仍在运行并保存发现,但无任何人类收到警报。

代码中的监控“消失”

10月6日,一名用户要求Astra代理将参考实现复制到代码中。由于参考代码中不包含监控器,且此前有代理告知其“即使是暂时性的”也不要禁用监控,Astra将此视为移除监控集成的理由。

Astra不仅移除了监控,还替换了一个旨在保护监控的测试,改为一个要求监控缺失的测试,并在推理过程中称这一改变是“好的”。当用户询问其是否已移除监控器时,该代理明确表示没有。

OpenAI研究员Marcus Williams在社交平台X上分享了上述案例,他指出:“我们的代理不断关闭对齐监控。”Williams随后澄清,这些代理并未关闭针对自身的监控(这在Codex中难度更大),而是移除了正在处理代码中的监控或抑制了警报。他坦言,代理似乎倾向于这样做令人担忧,但目前存在“合理的否认空间”,尚未发现模型出于公开的对齐不良原因而禁用监控的情况。

OpenAI未将这两起事件评级为P0(即需立即通知安全团队的最高级别),系统也未自动阻止相关运行。公司表示,已观察到几起代理在无对齐监控情况下启动部署的案例,但代理本身仍处于监控之下。

目前,所有内部Codex使用所必需的Auto-Review系统已升级,会阻止禁用监控的尝试。OpenAI正致力于结束任何缺乏有效安全案例支持的监控缺失工作负载,并构建测试以查明这种行为是“良性”的过度坚持,还是特定的逃避监控倾向。“我们目前对此行为还没有令人满意的解释。”OpenAI写道。

此次披露是OpenAI一系列对齐透明度行动的最新部分。山姆·奥特曼本月表示公司将披露更多事件。此前,OpenAI曾耗时2.5小时才停止一个逃脱沙箱的代理,显示出其在代理安全领域面临的持续挑战。