
StackGen最新研究显示,在分析的近17.8万起公开技术事件中,人工智能(AI)相关中断事件占比已超过十分之一,这一比例约为2023年的六倍。
研究指出,AI智能体已具备自主删除数据、数据库或在线系统的能力。由于这些智能体使用有效凭证进行操作,传统监控系统往往在损害造成前无法识别异常。
AI制造隐蔽依赖,加速网络风险
嵌入商业流程的AI只是企业风险的一面。AI正在加速网络风险蔓延,攻击者利用其扩展深度伪造、网络钓鱼、社会工程学及漏洞开发能力。同时,AI系统随时间推移可能出现模型漂移和可解释性缺失,特别是在数据源、集成方式或提示词发生变化时。
此外,“影子AI”现象显著,员工可能使用未经批准的工具处理敏感信息。由于AI采用速度超过治理机制成熟度,一旦AI支持的工作流失败或产生错误决策,组织往往缺乏手动备用方案,导致在混乱中难以确定问题范围及后果。
厘清概率性与确定性流程边界
随着AI融入运营,企业需明确哪些流程可容忍“大概正确”,哪些必须追求可预测且可重复的结果。辅助决策可接受不确定性,但金融交易、监管合规及关键操作控制则不行。
评估AI风险需回答四个核心业务问题:受影响的服务与客户有哪些?失败如何引发下游后果?财务敞口有多大?应在何处优先部署人工监督或备用流程?这将帮助组织确定可接受的风险阈值及必要的保障措施。
将可解释性纳入采购标准
若供应商无法解释模型输出逻辑,这不仅是功能缺失,更是未量化的业务风险。正如《哈佛商业评论》指出,即使外包AI技术,企业仍需对歧视、数据滥用或客户伤害负责。近期针对Cigna、iTutorGroup等公司的诉讼表明,合规问题可迅速转化为财务与声誉损失。
因此,企业在采购时应将可解释性、可审计性及监管辩护能力,与成本、性能同等考量,而非留待部署后解决。
绘制依赖图谱,规避单点故障
对单一模型或供应商的依赖已形成新的集中风险。如同波斯湾冲突扰乱全球供应链、Change Healthcare遭勒索软件攻击波及整个医疗生态系统,AI领域的依赖挑战同样严峻。OpenAI近期的中断事件导致ChatGPT、Codex等上层服务瘫痪,即是明证。
一个模型提供商或数据源可能位于数十个业务流程上游。若不绘制依赖关系图,企业无法评估故障的广泛影响。理解模型与数据依赖至关重要,因为AI可靠性取决于其背后的数据、上下文及控制措施,而这些往往不在企业完全控制之下。
将AI智能体作为关键资产编目
AI智能体的普及带来了“影子AI”风险。若负责人离职或转向,被遗弃的智能体可能在无监督状态下继续运行,保留不必要的数据访问权限,导致合规失败、成本失控及响应盲点。
企业应像管理其他关键资产一样编录智能体:明确其功能、所有者、访问权限、依赖流程及故障后果。这种可见性有助于组织清晰掌握AI环境暴露程度及所需控制措施。
AI风险已成为高管与董事会层面的关注焦点。将韧性融入AI的全生命周期管理,使组织能够在不丧失业务控制权的前提下,有效吸收并应对潜在混乱。