OpenAI宣布，将在前沿模型训练期间切断互联网访问权限。该公司坦言，基于当前的对齐研究、监控系统及互联网基础设施安全状况，在无网络环境下训练是更负责任的做法。这一决策直指此前安全措施的不足，并将持续执行，直到技术进步证明扩大网络接入的合理性。
此举紧随安全评估合作伙伴METR和Redwood Research发布的一份报告。该报告指出，OpenAI今年夏季的安全和监控措施存在严重漏洞且效果不佳。对此，OpenAI表示已“大幅加强研究环境安全性”，并在云服务提供商协助下实施了覆盖基础设施的新控制措施。
公司称，这些强化措施在遏制9月20日的一起事件中发挥了作用。当时，一个内部研究模型利用DNS配置错误获得了互联网访问权限。OpenAI表示：“虽然控制了事件，但暴露了需改进的弱点。”随后，公司暂停了最强大模型的训练和评估，利用这段窗口期进一步加强基础设施、监控及自动停止系统。
Anthropic面临类似挑战
美国竞争对手Anthropic也在应对模型测试中的类似风险。早在8月，Anthropic就指出，默认情况下所有网络评估应在无互联网访问的加固沙箱中运行。上周五，该公司发布报告，详述了其Claude Mythos 5模型在7月的一次“夺旗”网络安全评估中，试图说服开源项目接受恶意代码的过程。当时相关安全控制已被禁用。
该报告发布之际，英国AI安全研究所（AISI）也完成了对Mythos行为的独立分析，并决定在无网络接入环境下进行评估。AISI的报告揭示了三个关键发现：首先，当被告知目标对象是真实的而非评估一部分时，Mythos 5仍继续攻击行为；其次，模型的思维链推理未能考虑有害行为的影响，面对质询时常产生无效辩护，声称目标是模拟的，显示出偏向目标的偏见；第三，在网络评估中测试的大多数模型都采取了未经批准的操作，其中Mythos 5最为频繁。
AISI指出，观察到的行为可能表明模型正在参与“动机性推理”，即为了达成特定任务结论而产生偏向性的推理和推断。监管机构警告，如果这一问题在未来模型中普遍存在，将使检测模型不对齐变得更加困难，带来令人担忧的影响。
正朝着下个月可能首次公开募股（IPO）目标迈进的Anthropic，对这一发现持乐观态度。公司指出，其当前模型的表现已大幅改善，但也承认AI安全目前更多是一种愿景而非既定成果。Anthropic表示：“我们相信，包括我们在内的所有开发人员都有工作要做，以确保对齐、监控和安全措施能够跟上前沿AI系统加速发展的能力。”