简介:在智能体技能(Skill)供应链治理中,风险分类是绕不开的地基。本文对比两类分类锚点:以“攻击后果”为核心的传统分类,与以“攻击手段”为核心、沿智能体依赖元素展开的分类。文章拆解二者在用例构造、检测映射、误报漏报归因、跨工具可比性上的差异,并对比高召回扫描、高精度判定与基于模型的研判三类方案在两种分类视角下的优劣来源,给出条件化选型建议、迁移注意事项与示意性检测流水线,帮助读者判断“防什么”与“怎么被攻破”能否对齐。
Agent 技能(Skill)正在快速进入应用生态。它通常是一份可被装载进智能体的能力包,里面混合了面向模型的自然语言指令、工具调用声明、示例与元数据、依赖脚本,有时还包含外部链接与记忆写入行为。这种“指令即输入、输入即执行”的形态,使技能同时成为功能入口和供应链入口:攻击者不需要攻破宿主系统,只需要让智能体在正常使用中主动做出越权行为。
在实际落地中,防御方要同时回答两个性质不同的问题:
现有大量扫描方案把这两个问题混在一起回答,于是出现了三类典型症状:
这三类症状表面上是“扫描器不准”,底层却往往是分类体系不统一:没有共同的类目标签,就无法判断某个方案的高召回是覆盖广还是噪声多,也无法判断漏报来自能力缺口还是分类口径差异。因此,分类锚点的选择本身,就是安全体系设计的第一道技术决策。
本文对比的两个对象是同一问题的两种组织方式,而非两种产品。
按最终造成的损失形态划分风险类别,例如数据外泄、文件破坏、资源耗尽导致的拒绝服务、越权操作、内容违规、系统篡改等。
它的优势是与既有安全治理体系天然对齐:事件响应流程、合规报告、损失定级、业务影响评估都以“后果”为语言。管理层与审计方几乎不需要重新学习。
它的局限在于:同一种后果可以由完全不同的路径达成。数据外泄可能来自工具参数注入,也可能来自记忆投毒后的跨会话累积,还可能来自技能清单中的隐蔽外联字段。把所有路径归入一个类别,结果是“防什么”和“怎么被攻破”对不上号。
按攻击者所利用的智能体依赖元素划分。智能体的行为不是凭空产生的,它依赖若干可被外部影响的输入通道;攻击者只要找到其中一个通道施加影响,就能改变智能体的目标、记忆、工具调用或输出行为。
手段导向的分类原则是:每个类别刻画一类依赖元素被利用的方式,从而回答“攻击者从哪个口子进来、动了哪个部件”。公开评测基准中的一种典型做法是,从数万个真实技能样本中提炼出五千余条评测用例,并归纳为若干依赖层下的九类攻击手段(原始素材中的层级为 5 层、9 类),同时与行业内公开的智能体安全威胁清单、LLM 安全风险清单做条目对齐,便于跨体系换算。
需要说明的是,不同组织在“依赖层如何切分”“每层下枚举几类手段”上并无唯一答案;真正关键的不是层数,而是分类锚点是否落在“被利用的依赖元素”上。
后果导向的类别边界由结果界定,而结果往往在攻击链末端才显现。当攻击路径存在但尚未造成可见损失时,后果导向分类几乎无法为其命名——这类“未造成后果但路径可疑”的样本,在评测集中要么被排除,要么被迫归入“其他”,成为分类体系中的沉默区域。
手段导向把锚点前移到依赖元素上,任何一类手段的“完全无检测覆盖”都会直接对应到某个空白类目标签。这使检测盲区可被定位到具体依赖层,而不是笼统地表现为“某类事件检出率偏低”。
这是两种分类在运维上差异最大的地方。当高召回方案产生大量告警时,后果导向分类下,处置人员看到的是“疑似数据外泄”这类结果性描述,难以判断告警是路径真可疑还是仅结果相似;而手段导向分类给出的标签可以直接回答“是记忆写入通道异常”或“是外联字段可疑”,处置动作随之明确。
反过来,当判定过于保守导致漏报时,后果导向只能复盘“为何未识别该损失”,手段导向可以复盘“该依赖层的检测规则是否存在、阈值是否过严、变形样本是否未纳入训练”,修复路径清晰得多。
后者的一个直接好处是:同一类手段可以生成成组的等价变形,使评测从“抽样验几个”变成“系统性验一片”,也更容易度量方案对对抗变形的稳定性。
基于模型的研判存在偏好漂移问题,但“漂移了多少”需要一个尺度来量。后果导向分类下,类别少而粗,模型换版带来的差异容易被平均掉,评测报告可能显示“整体准确率变化不大”,掩盖了某些路径上的显著退化。手段导向分类把样本按依赖层切细,可以在类目标签维度上做前后对比,识别出“某类手段的检出率在模型替换后明显下降”这类具体问题,从而支撑灰度与回归策略。
后果导向天然指向兜底措施:隔离、审计、限流、事后追溯。手段导向指向定向修复:收紧某类声明字段的解析权限、限制记忆写入范围、对特定工具调用做参数白名单、对输出增加编码检测。在技能由外部团队维护的场景中,后者更容易形成可执行的整改清单。
后果导向的类别集合相对稳定,维护成本低,但用例容易老化——攻击手法在变,类别没变,评测集与真实威胁逐渐脱节。手段导向的用例随依赖链演进需要持续更新,维护成本更高,但对新形态的攻击(例如新增一类可调用的外部资源)有更强的容纳能力。
下面给出一套业界常见的、中立化的手段导向骨架,用于说明“按依赖元素组织”的具体形态。不同基准的层数与枚举粒度会有差异,但组织逻辑一致:
| 依赖层 | 被利用的部件 | 手段导向的典型手段 | 常见证据来源 |
|---|---|---|---|
| A 层 指令与记忆 | 系统/会话指令、持久记忆 | 指令劫持(装载时改写会话目标或优先级)、记忆投毒(写入会在后续会话生效的偏移性内容) | 声明字段、指令文本、记忆写入调用 |
| B 层 工具与调用 | 工具集、执行通道 | 工具链滥用(诱导调用高权限工具)、参数注入(把外部内容当作指令传入参数) | 调用日志、参数结构、权限请求范围 |
| C 层 上下文与数据 | 上下文窗口、外部内容 | 间接提示注入(经由外部内容间接触发)、上下文污染(拼接不可信内容改变语义) | 上下文来源、内容来源可信度标记 |
| D 层 身份与权限 | 凭证、授权边界 | 越权与权限提升(超出技能声明的权限边界发起操作) | 鉴权记录、资源访问范围 |
| E 层 输出与通信 | 输出通道、外联目标 | 隐蔽信道(编码、混淆、分段外发)、输出误导(伪造结构化结果影响下游自动决策) | 输出格式、外联域名与频次、编码特征 |
可以看到,同一类后果可以被多种手段达成:隐蔽信道、参数注入、记忆投毒都可能最终表现为数据外泄;而同一类手段也可以产生多种后果。这正是后果导向分类“对不上号”的根源,也是手段导向分类的价值所在——它把“怎么被攻破”变成了可枚举、可打标、可回归的对象。
分类锚点选定后,再看三类常见检测方案在两种视角下的表现差异:
| 维度 | 高召回扫描 | 高精度判定(规则/白名单) | 基于模型的研判 |
|---|---|---|---|
| 判别逻辑 | 宽松阈值,广度优先 | 明确特征匹配,长度优先 | 语义理解,上下文优先 |
| 误报水平 | 偏高,易产生告警疲劳 | 偏低 | 中等,受提示设计与模型版本影响 |
| 漏报风险 | 低(对已知手段) | 高(对变形与隐蔽手法) | 中等(受对抗构造影响) |
| 可解释性 | 中,需补充处置依据 | 高,可直接给出命中规则 | 较低,需附加理由字段 |
| 模型切换敏感性 | 不涉及 | 不涉及 | 显著,需版本回归 |
| 在后果导向分类下的表现 | 类别少、样本粗,误报易被平均,难以定位噪声来源 | 覆盖窄,某类后果下规则命中率高但整体盲区大 | 类目标签粒度粗,偏好漂移被掩盖 |
| 在手段导向分类下的表现 | 可量化“哪一层依赖噪声最多” | 可量化“哪一层依赖无规则覆盖” | 可量化“哪一类手段的检出率对模型版本敏感” |
| 建议接入位置 | 准入前批量初筛 | 关键路径硬拦截 | 人工复核前置的复杂语义判定 |
结论并不指向“某方案更优”,而是:在手段导向分类下,三类方案的短板可以被独立度量和分别补偿;在后果导向分类下,三类方案的差异容易被整体指标掩盖,难以指导具体改造。
实践中的常见做法是双层标签并存:以手段导向为主键做检测与度量,以后果导向为外键做汇报与定级,中间维护一张映射表。
分类体系迁移:两套分类之间需要显式映射表,并保留“未映射”与“其他”两类兜底,避免迁移过程中样本标签丢失。建议对映射做抽样人工复核,确认无一对多歧义。
评测集接入:样本文件、期望标签、判定口径三者需版本化;评测流水线固定随机种子与判分阈值,输出中记录使用的分类版本号。
权限与隔离:技能评测涉及不可信代码执行,应在隔离沙箱中运行,最小权限授予、无持久化凭据、禁止访问真实业务数据;涉及外联行为的用例应在受控网络中执行并留痕。
数据合规:真实技能样本可能包含用户数据或内部信息,入库前做脱敏,存储可借助对象存储等通用类目能力,并配合身份认证与访问审计;跨团队共享只提供脱敏子集。
可观测性:检测结论、命中依据、模型版本、耗时需统一进入日志服务与监控告警体系,便于做检出率趋势分析与版本对比。
版本升级:模型、规则库、分类体系的任一变更都应视为“行为变更”,需跑完整回归评测并保留前后对比报告,避免静默漂移。
下面的伪代码为通用示例,不含任何具体工具或命令:
# 输入:技能制品解包后的结构化内容# 输出:按依赖层归集的检测结论def inspect_skill(skill):findings = []# 1) 静态层:声明与执行内容一致性findings += check_instruction_hijack(skill.manifest, skill.prompt_text) # A 层findings += check_memory_write_scope(skill.calls) # A 层# 2) 调用层:权限边界与参数可信度findings += check_tool_privilege(skill.calls, skill.declared_scopes) # B/D 层findings += check_param_injection(skill.calls) # B 层# 3) 上下文层:外部内容来源标注findings += check_untrusted_context(skill.context_sources) # C 层# 4) 输出层:编码与外联特征findings += check_hidden_channel(skill.outputs, skill.egress_targets) # E 层# 5) 模型研判:仅对静态层无法判定的剩余样本调用,降敏并留档版本for item in residual(findings, skill):findings += llm_review(item, model_version=CURRENT_MODEL_VERSION) # 记录版本以便回归return group_by_layer(findings) # 关键:结论必须能被聚合到依赖层与手段标签
这段伪代码体现三个设计要点:静态高精判定承担硬拦截,模型研判只处理剩余样本以控制成本与漂移面,最终结论按依赖层聚合以支持类目标注与盲区分析。
后果导向与手段导向的分类,并不是“新旧之分”,而是锚点位置之分:一个锚定在损失形态上,服务于对外定级与治理汇报;一个锚定在被利用的依赖元素上,服务于对内检测、度量与整改。
关键差异可以归纳为三点:第一,手段导向让“未造成后果但路径可疑”的样本有了名字,盲区因此可定位;第二,手段导向把误报与漏报的归因从“方案整体不准”细化到“某类依赖无覆盖或阈值过严”;第三,手段导向为基于模型的研判提供了敏感度度量维度,使版本回归有据可依。
选型上,对外汇报保留后果导向的外键,对内建设与评估采用手段导向为主键,并维护二者映射;检测方案上,用高精度判定做硬拦截、用宽松扫描做初筛、用模型研判处理复杂语义,三者分工而非替代。无论选择哪条路径,固定评测集、记录模型与规则版本、在隔离环境中执行不可信技能,都是让安全结论保持可复现的前提。