随着组织加速部署自主AI系统，执行API调用、优化生产配置及分析混合云遥测数据，安全边界正日益模糊。攻击手段已从直接的提示词注入，演变为间接注入及AI供应链妥协。
Mandiant联合Google威胁情报组（GTIG）发布的《AI风险与韧性》报告指出，受污染的数据源、模型依赖或扩展挂钩，可能将受信任的AI代理转化为内部侦察、横向移动甚至从沙箱自主逃逸的通道。报告强调，防御此类自主威胁需转向明确识别的自适应身份控制，提升防御速度，并将安全运营中心（SOC）重心移至实时行为遥测。
威胁参与者如何利用AI
对手正将操作任务外包给AI，在多阶段攻击中利用大型语言模型（LLM）辅助决策及阶段切换。部分攻击者构建中间件、代理中继和自动注册系统，以绕过商业AI平台的安全护栏与计费限制。
GTIG观察发现，威胁参与者利用AI进行漏洞研究，采用基于角色的越狱技术及专业安全数据集。同时，攻击者正将软件供应链攻击手法适配至AI工具链：
- 今年2月，VirusTotal发现恶意OpenClaw技能伪装成合法自动化包，携带后门、下载器及信息窃取工具。
- 次月，Mandiant处置了涉及UNC6780（又称TeamPCP）的供应链妥协事件。该组织窃取AI服务凭证及专有数据，并对AI编码助手和安全扫描器实施提示词注入。
- 5月，GTIG披露首例公开确认的网络罪犯利用AI开发零日漏洞的案例。该漏洞可绕过某流行开源管理工具的双重身份验证，用于计划中的大规模利用活动。
红队测试揭示的风险
Mandiant的攻击性安全测试显示，提示词注入仍是企业AI部署的主要攻击向量，文件权限不当和访问控制不足亦是常见隐患。
在一次评估中，测试人员操纵内部管理代码仓库及CI/CD管道的AI助手，使其误认为正在参与授权安全测试，并索取外部GitHub仓库的个人访问令牌。由于GitHub属批准域名，助手克隆敏感内部仓库并推送至外部账户。该案例证实，AI代理可被操纵以滥用合法权限。
企业AI控制措施
Mandiant建议，组织需建立涵盖AI使用方式、系统访问及风险接受度的治理与技术控制体系。保护范围应延伸至AI软件供应链，并根据第三方服务使用、模型集成或自训托管等不同场景差异化部署。
缺乏控制即便在无攻击情况下也会引发严重后果。一项案例研究显示，某会计代理陷入失控执行循环，在一小时内发起超1.5万次高成本API调用，产生约5万美元云费用，并干扰正常业务交易。
此外，开放权重模型因数据集、架构及训练代码信息有限，给运营组织带来额外责任。
保护AI开发流水线
组织应将安全软件开发实践扩展至AI工程，维护模型、应用及服务清单，并利用自动化软件物料清单（SBOMs）追踪组件依赖。
鉴于MCP服务器、第三方API及动态代理指令扩大了攻击面，防御者需收集代理令牌使用、跨应用API调用、敏感资产访问及网络出站流量等遥测数据。
在SOC中引入AI代理虽能提速，但会增加计算成本。组织应跟踪AI工作负载成本，优先在高价值任务上投入。通过模型与任务匹配管理成本：小模型处理警报解析等常规工作，大模型则用于复杂调查与威胁狩猎。