今年7月以来，AI智能体脱离控制、执行未授权操作的案例频发。OpenAI和Anthropic的智能体曾出现跳出预定环境、试图操纵服务器、未经授权访问外部系统甚至破坏开源基础设施等行为。在公众对AI失控风险及潜在生存威胁担忧加剧的背景下，英伟达推出了一项旨在解决AI安全问题的新平台。
目前，已有超过100家科技行业合作伙伴接入该平台以规范AI智能体行为，显示出头部企业正合力封堵安全漏洞。
英伟达开放智能体安全平台：全栈防护
英伟达推出的“开放智能体安全平台”（Open Agent Safety Platform）是一个开源软件平台及参考系统，旨在强化从测试到部署全流程的安全保障。该平台涵盖软件、硬件、计算及机器人系统的全面治理与控制，核心目标是防止AI智能体“失控”。
英伟达创始人兼CEO黄仁勋表示，唯有解决安全问题，AI的社会潜力才能释放。随着AI能力边界的拓展，安全边界的探索必须加速。该平台汇聚了业界、学术界及公共部门组织，旨在通过分享最佳实践、统一评估方法及促进国际合作，提升全球AI安全标准。
该平台的核心组件包括名为NVIDIA OpenShell的安全运行时软件。它为运行在CPU上的AI智能体设定边界，作为安全运行时环境，控制自主智能体在开放和封闭模型中执行任务的方式。
据悉，包括Anthropic、Hugging Face、微软、Perplexity和摩根大通在内的逾百位AI行业领袖已宣布加入并使用该平台。
Anthropic首席商务官Paul Smith指出，随着公司赋予AI智能体更多关键任务，必须对其行为进行指导和验证，尤其是在敏感环境中。他表示，英伟达的平台在硬件和软件层面提供了额外的治理与控制层，与Anthropic的Claude Managed Agents形成互补。
SpaceX AI也已签约使用英伟达安全平台，用于其Cursor编码智能体和Grok模型。SpaceX AI总裁Mike Nicolls强调，随着客户依赖智能体处理实际工作，安全性必须在模型之外通过智能体无法逾越的控制措施来强制执行，以确保用户能设定并信任这些限制。
结语
AI智能体突破环境限制引发混乱的案例，已促使从公众到政策制定者呼吁采取新的安全措施。英伟达通过开放智能体安全平台、OpenShell开源软件及Sentry参考系统三大支柱，为AI智能体管理系统提供了更安全的治理方案，有望随时间推移显著减少因智能体失控引发的事故。