Anthropic在最新提交的S-1/A文件修订版中披露,公司内部估算显示,可能很快达到其《负责任扩展政策》所定义的“归因于人工智能的显著加速进展”。

这一表述实质上指向“递归自我改进”(Recursive Self-Improvement, RSI)。RSI被视为一个关键临界点:计算机系统能够自主提升自身能力,且升级后的版本具备进一步自我优化的能力。尽管当代语境下RSI概念仍显模糊,但Anthropic明确指出,当提及AI提升自身进步速率时,即属于该政策涵盖范围。

相较于抽象的RSI概念,Anthropic采用的“归因于人工智能的显著加速进展”设定了更明确的阈值:即基线速率翻倍,且这种提升可合理归因于人工智能。公司警告,这一里程碑可能“迫在眉睫”。

启动最高级别安全应对机制

根据《负责任扩展政策》,一旦触发上述加速进展,Anthropic将执行严苛的风险缓解措施,以防止AI相关灾难:

  • 实施“眼观一切”管控:对公司内部活动实现全面掌控,确保透明度与安全性。
  • 探索非传统安全路径:采取雄心勃勃甚至非常规的手段,以实现前所未有的安全水平。
  • 升级红队测试能力:构建极高水准的内部红队测试体系,使其不再依赖外部的漏洞赏金计划。

随着RSI风险从理论走向现实,Anthropic正试图向投资者展示其已准备好应对这一技术奇点带来的潜在挑战。