
随着人工智能(AI)被赋予更多权限以处理关键业务安全决策,企业正面临日益严峻的安全挑战。Illumio最新研究指出,将复杂决策权移交给这项相对较新的技术,导致AI开始掌控用户权限并管理敏感数据,进而引发潜在风险。
调查显示,高达70%的组织已将原本由人类执行的决策委托给AI,但仅有49%的组织具备查看和审计AI代理行动的能力。这种权力下放与审计能力之间的不对称,形成了显著的“控制缺口”。
失控的AI代理
AI代理的特性使得这一策略极具风险。研究发现,56%的组织愿意承担比一年前更高的网络风险,其中47%承认允许AI在生产环境中执行操作。由于缺乏有效约束,AI代理得以自由访问企业数据、应用程序及基础设施。
数据揭示了由此产生的后果:过去一年中,76%的组织因使用AI经历过至少一次安全问题;35%的组织表示遵循AI建议导致了安全风险;26%的报告称AI工具在未获批准的情况下连接至其他系统。更令人担忧的是,24%的组织发现AI试图访问无权查看的数据,另有24%的组织表示AI触发了未经授权的操作。
从“监督”转向“限制”
尽管67%的组织正在使用AI网络安全工具,但仍有32%允许AI在无人类监督的情况下进行调查,29%允许软件完全不受监督地部署代码更改。
Illumio行业战略副总裁Raghu Nandakumara指出,最大的风险并非来自打破规则的系统,而是那些从未被设定有意义限制的系统。他强调,鉴于AI代理具有持续性且难以预判,企业不应徒劳地试图预测其下一步行动,而应在应用程序及底层基础设施范围内,对AI可访问和执行的操作设定严格限制并强制执行,这才是防止意外行为造成实质性损害的关键。