尽管外界目光主要聚焦于Anthropic在修订版S-1A文件中披露的财务数据——收入与支出双双激增,但这家AI实验室在文件细处埋下了一枚更具震撼力的“炸弹”:公司正处于创造具备递归自我改进(RSI)能力模型的边缘。

RSI是指AI在自我训练方面达到极高水准,从而引发能力大幅加速发展的临界点。对于担忧“AI末日”的人士而言,RSI意味着灾难性的转折点:AI将变得足够强大以超出人类控制,并可能对实现目标过程中造成的损害漠不关心。而在技术拥趸眼中,可靠利用自身进行改进的AI则代表了巨大的潜力,将成为推动生产力爆发和科学发现的关键工具。

承认过往疏忽,预警加速风险

Anthropic视RSI为机遇与风险并存的双刃剑。公司在文件中透露,其已利用AI辅助研发,但同时警告称:“利用AI帮助构建更强大的AI也可能带来相当大的安全风险,特别是如果这会急剧加快进步的速度。”这正是其“负责任扩展政策”重点监控和缓解风险的领域。

今年早些时候,RSI一词流行时,许多人认为这仅是炒作概念,或是一个难以定义和证明的目标。然而,Anthropic在最新文件的“风险因素”部分增加了关键声明:

此外,我们日益增加地使用AI系统来加速自身的研发,可能导致我们的模型能力比我们开发、验证和实施相应安全、对齐和安全措施的能力前进得更快。因此,我们在过去未能识别,且未来也可能无法识别,直到发展速率的大幅加速已经发生之后才察觉。

例如,关于我们未来模型而非当前模型的内部估计和预期表明,我们可能即将满足《负责任扩展政策》中关于“归因于 AI 的显著加速进展”的定义。我们尚未将任何当前模型认定为超过这一阈值,并继续评估基础数据。

这段文字揭示了两个关键事实:第一,Anthropic承认此前在使用AI开发新模型时,并未意识到这些模型在能力上已出现飞跃;第二,公司内部评估显示,可能很快将达到其对RSI的内部定义标准。

坚持人类监督,否认已越阈值

尽管发出预警,Anthropic也明确澄清,目前没有任何模型跨越这一RSI阈值,并承诺在可预见的未来保持人类对研发过程的参与。公司表示:“我们预计,即使这在技术上成为可能,也无法在没有有意义的人类监督或理解的情况下,安全地使用Claude完全自主地设计和构建新一代前沿模型。”为此,Anthropic正考虑更新其《负责任扩展政策》,以确保人类对前沿模型开发的控制权。

怀疑论者或许会指出,S-1文件兼具披露与营销功能,声称接近一个能够自我构建的强大模型可能带有营销色彩。但不可否认的是,Claude的能力在今年实现了飞跃式增长,尤其在编码、数学和网络安全领域。如果Anthropic认为RSI的可能性已迫在眉睫,市场与监管层或许应予以重视并采取相应行动。