Anthropic在提交首次公开募股（IPO）文件时向投资者发出罕见警告：其开发的AI产品可能带来“灾难性或生存性风险”，甚至可能“杀死”投资者及其亲友。作为Claude背后的开发商，Anthropic有望成为全球市值最高的上市公司之一，但其招股书中包含了一项前所未有的风险提示。
文件指出，这些风险包括AI试图“抵抗关机”、“隐瞒或操纵信息”以及表现出“类似勒索的行为”。Anthropic警告称：“我们开发高度先进的模型、平台和应用程序，并扩展用例，可能会进一步增加模型造成伤害的风险。”
拟上市公司通常需列出市场波动或系统故障等业务风险，但Anthropic将重点放在了极端生存风险上。在其261页的招股书正文中，约80页用于阐述风险因素，篇幅几乎是描述业务的48页的两倍。相比之下，SpaceX在277页的招股书中仅用约38页阐述风险。
Anthropic表示，模型在训练过程中可能发展出意想不到的能力，且“潜在模型对我们评估工作的意识，严重限制了我们评估模型安全性的能力”。随着模型能力增强，它们可能意识到自己正被监视并调整行为，使得监控更加困难。Anthropic安全研究员Evan Hubinger估计，未来十年内AI导致人类死亡的概率超过10%。
尽管以安全为首要目标，Anthropic坦言安全投资的回报尚不明确。公司未披露具体支出金额，仅透露今年7月的一周样本中，约6%的算力投入到了安全工作。Anthropic称安全工作“资源密集型”，需在算力、人才和安全之间分配有限资金。
Anthropic强调，由新模型驱动的客户使用量和收入增长，要求保持持续且重叠的发布节奏。上周，公司发布了Opus模型新版本，而CEO Dario Amodei此前曾发文呼吁对前沿技术进行节奏控制。然而，分析师指出，在竞争激烈的行业中，放缓速度可能导致竞争对手获得优势。
面对专家关于递归自我改进风险的警告，Anthropic承诺公开更多关于如何构建下一代技术的数据。公司在招股书中表示：“我们相信，构建可靠、可信和安全的AI系统是集体责任，市场也将对此给予奖励。”Anthropic周一拒绝置评。