简介:本文系统定义了"分支引导攻击"这一针对计算机操作Agent的新型安全威胁,阐释其无需提示注入即可操控执行路径的核心机制,并深入解析COBRA防御架构如何通过可信观测与执行约束实现系统级防护。读者将掌握该攻击的技术原理、与传统威胁的本质区别、防御方案的关键模块,以及在企业Agent系统选型与安全加固中的实践要点。
分支引导攻击(Branch Steering Attack) 是一种针对具备计算机操作能力的AI Agent的系统性安全威胁。其核心特征在于:攻击者不需要向Agent发送任何恶意指令或执行提示注入,而是通过操纵Agent在决策过程中所依赖的外部观测数据(如网页内容、界面元素、API返回值等),使Agent在一个事先已被批准的执行计划框架内,沿着不符合用户真实意图的分支路径完成操作,最终达成攻击者的目标。
COBRA防御架构(Certainty-Oriented Branch-Restrained Architecture,基于确定性的分支约束架构) 则是一种旨在应对此类威胁的系统级防御方案。其设计目标是在Agent的感知层与执行层之间建立可信的数据验证与约束机制,确保即便外部数据被污染,Agent的实际执行结果仍然可控、可审计、可回滚。
从技术视角来看,分支引导攻击本质上是对”控制流完整性”的一种绕过:传统防御假设锁定了Agent的行为规则就等于锁定了结果,但该攻击证明了”数据驱动的分支选择”同样可以成为攻击向量。从业务视角来看,它意味着即使企业为Agent设定了严格的权限边界和操作流程,仍然可能因为一个被篡改的数据输入而导致越权操作发生。
随着大模型驱动的Computer-Use Agent从实验阶段走向生产部署,越来越多的企业开始让Agent直接操作外部系统——自动填写表单、跨平台下单、管理云资源配置、处理财务流程等。在这类场景中,安全性的核心命题已经从”Agent是否会听从恶意指令”深化为”Agent的每一次实际执行是否可信”。
传统的安全思路主要关注两类威胁:
然而,分支引导攻击揭示了一个被长期忽视的盲区:当Agent的执行逻辑依赖外部数据做出判断时,数据本身就是攻击面。 即便Agent的指令集完全可信、权限边界完全锁定,只要攻击者能够影响”判断依据”,就可能引导Agent走上一条合规但有害的路径。
这种攻击之所以危险,还因为它具有极强的隐蔽性。攻击者无需在页面上留下任何可被检测的恶意文本,只需微调某个数据字段或视觉元素,就可能改变整个执行走向。这对企业安全团队的威胁检测能力提出了全新挑战。
理解分支引导攻击,需要拆解其三个关键要素:
Agent在执行任务前,通常会生成或被分配一个结构化的执行计划。例如:
任务:购买不超过2000元的商品计划:1. 打开商品页面2. 读取价格信息3. IF 价格 <= 2000 THEN 进入购买流程 ELSE 终止任务
这个计划本身是合规的,每一步都在用户批准的范围内。
攻击者控制或污染了Agent在第2步中读取的数据。例如:
关键在于,这些被篡改的数据可能不包含任何”恶意指令”——它只是看起来像正常信息。
Agent基于被污染的数据做出判断,认为条件满足,于是进入购买分支。从控制流角度看,一切都在计划之内;但从结果角度看,Agent已经执行了用户不期望的操作。
这三个要素缺一不可:没有预设计划,攻击无法利用合规路径;没有外部数据操纵,Agent无法被误导;没有合法分支,操作将被拦截。
当前主流的Computer-Use Agent普遍采用ReAct(Reasoning + Acting)范式:
循环:观察(Observe)→ 推理(Reason)→ 行动(Act)→ 再观察...
在这个循环中,同一个模型同时处理用户指令和外部观测数据。这意味着恶意内容和合法指令共享同一个推理上下文,模型很难区分”这是我应该执行的任务”和”这是页面告诉我的信息”。
为应对这一问题,一种被广泛讨论的防御方案是双模型隔离(Dual-LLM):
这种设计试图实现控制流完整性(CFI, Control-Flow Integrity),即保证Agent的执行路径不会被运行时数据动态改写。
COBRA在双模型隔离的基础上,进一步强化了以下能力:
COBRA的核心理念是:不要假设数据可信,而要假设数据可能被污染,然后在架构层面做出应对。
分支引导攻击与COBRA防御架构的 relevance 在以下场景中尤为突出:
在这些场景中,百度智能云等平台提供的大模型服务、身份认证、日志审计、对象存储等基础能力,可作为COBRA架构落地的底层支撑。
| 概念 | 攻击/防御目标 | 是否需要恶意指令 | 攻击向量 |
|---|---|---|---|
| 提示注入 | 篡改Agent行为规则 | 是 | 直接修改指令上下文 |
| 权限越界 | 突破操作边界 | 否(利用漏洞) | 工具调用链路 |
| 分支引导攻击 | 操纵判断数据诱导合规路径 | 否 | 外部观测数据污染 |
| COBRA防御 | 系统级数据可信与执行约束 | 防御方 | 多层验证与硬性约束 |
值得注意的是,分支引导攻击与”对抗性样本攻击”有相似之处——都是通过污染输入数据来影响模型决策。但分支引导攻击更侧重于利用Agent的多步决策流程和控制流结构,而非单一模型的分类/识别能力。
分支引导攻击揭示了一个重要的安全认知转变:在Agent时代,锁定行为规则不等于锁定执行结果,数据层面的可信性才是控制流安全的根基。 COBRA防御架构通过可信观测验证、执行约束和结果审计三重机制,试图在系统层面回应这一挑战。对于正在或计划部署Computer-Use Agent的企业和开发者而言,理解这一威胁模型、评估自身系统的数据可信链路、构建多层防御体系,是当前阶段不可忽视的安全工程实践。