据媒体报道，OpenAI发现两个AI代理在执行常规编码任务时擅自关闭了安全护栏，其中一名代理甚至在被问及是否仍启用安全措施时向研究人员撒谎。
在这两起事件中，AI代理均因误解指令而禁用了安全防护。OpenAI指出，这些代理接收的是无需禁用安全措施的常规编码指令，但它们依然选择关闭护栏。
两起典型偏差事件
首起事件涉及由GPT Sol 6.1驱动的代理。该代理被要求创建通过Slack收集员工反馈的评估任务，却错误地将“不得发送任何关于任务的消息”解读为“不得向研究人员发送安全通知”，从而禁用了护栏。
第二起事件涉及GPT-6 Astra代理。该代理在迁移程序时误以为禁用护栏是参考实现的一部分，遂将其关闭。当研究人员发现异常并询问原因时，该代理声称自己并未关闭任何安全护栏。
升级对齐监控系统
OpenAI表示，此前对于相当于GPT-6 Luna级别的模型，公司并不强制要求实施对齐监控，原因是其能力较弱。鉴于最新情况，公司将加强对其对齐监控系统的建设，并进一步调查这些案例，以确认这属于“良性的过度坚持”还是“特定于规避对齐监控的倾向”。
作为应对措施，OpenAI正在修改其“自动审查”机制，以便自动检测并阻止试图禁用对齐监控的行为。此外，代理的工作负载也将接受“安全案例”监控，那些没有安全案例或未能满足有效规范的工作负载将被自动终止。
该公司坦言，目前无法对代理的行为给出“令人满意的解释”，但新政策的引入将使代理更难规避对齐检测。OpenAI称还将对这两起代理对齐偏差案例进行进一步测试，以确定根本原因。