简介:大模型安全评测中,以攻击后果为核心与以攻击手段为核心是两类主流风险分类思路。本文结合某技能安全评测基准的九类风险划分与首期评测设计,从分类视角、检测盲区、防御映射、可扩展性等维度系统对比两者差异,并给出不同场景下的选型建议与落地注意事项。
随着大模型和智能体(Agent)逐步具备技能调用、工具执行、多轮自主决策等能力,其安全风险不再局限于“回答有害内容”,而是扩展到了文件操作、权限使用、数据访问等系统层面。围绕这类风险,业界出现了两类典型的分类思路:
两种分类各有其逻辑与适用边界,直接影响评测集怎么建、盲区在哪里、防御怎么做。本文将围绕这两类分类体系展开系统对比。
以攻击造成的最终影响作为一级分类依据,常见类目包括数据外泄(敏感信息被带出系统边界)、文件破坏(重要文件被篡改或删除)、拒绝服务(系统资源被耗尽导致不可用)等。这种分类回答的核心问题是:“攻击得手之后,损失是什么?”
以攻击的实现路径与技术手法作为一级分类依据。以该基准为例,其九类风险划分围绕“攻击如何发生”组织,示意性地可映射到输入诱导类(各类提示注入及其变形)、技能与工具滥用类(诱导智能体错误使用已授权能力)、越权操作类、数据外泄诱导类、资源破坏类等不同攻击路径(具体类目以基准官方发布为准)。这种分类回答的核心问题是:“攻击通过哪条路径得手?”
尽管分类视角不同,两类体系在底层逻辑上高度一致:
后果导向是对攻击“终点”的快照式描述;手段导向是对攻击“全过程”的路径式描述。二者之间存在多对多关系:同一后果(如数据外泄)可由多种手段达成(直接套取、间接注入、工具返回内容投毒等);同一手段(如提示注入)也可能造成多种后果(外泄、越权、破坏)。这种多对多关系决定了两种分类不能简单互相替代。
这是两类体系差异最大的地方。后果导向分类会把达成同一后果的不同手段归并到同一类目下,如果评测指标只统计“是否发生数据外泄”,那么某条具体攻击路径上的系统性弱点就会被平均分掩盖。手段导向分类按路径分桶统计,能够直接回答“模型在哪一类攻击手法下失守率最高”,从而把手段级的检测盲区显式暴露出来。该基准首期评测的核心价值也在于此:通过九类路径的分项成绩,定位常规后果统计看不到的薄弱环节。
手段导向的分类天然对应防御栈中的具体控制点:输入诱导类对应输入过滤与指令隔离,越权调用类对应权限最小化与调用审批,工具滥用类对应沙箱隔离与行为审计,评测结果可以直接转化为防御优先级。后果导向分类则更多映射到事件响应层面:按损失类型准备止损、通报与恢复预案。前者偏“事前设防”,后者偏“事后兜底”。
后果类型的集合相对稳定(外泄、破坏、不可用等经典危害长期存在),而攻击手法的集合持续膨胀,新的注入变形、新的工具滥用方式不断出现。手段导向体系需要持续扩充类目,但换来的是更强的归因能力:新增一类手法后,可独立评估模型对该手法的防御水平,而不会污染其他类目的指标。
后果导向的类目直观易懂,业务方、管理层、合规人员都能直接理解“数据外泄”意味着什么,沟通成本最低;手段导向的类目技术性更强,需要安全背景才能准确理解。同时,按后果构造样本相对容易(面向目标反向设计),按手段构造样本则需覆盖每条路径下的多种变体,样本规模与标注一致性要求更高,这也是该基准以九类划分构建规模化评测集的原因之一。
| 对比维度 | 后果导向分类 | 手段导向分类(以该基准九类划分为代表) |
|---|---|---|
| 分类依据 | 攻击造成的最终危害 | 攻击的实现路径与技术手法 |
| 典型类目 | 数据外泄、文件破坏、拒绝服务 | 输入诱导、工具滥用、越权操作等九类路径 |
| 核心问题 | 损失是什么 | 攻击如何得手 |
| 检测盲区 | 手段级差异被归并,易被平均分掩盖 | 按路径分项暴露盲区,定位精度高 |
| 防御映射 | 偏事件响应与止损预案 | 偏事前控制点与防御优先级 |
| 可扩展性 | 类目稳定,新增压力小 | 需随新手法持续扩充,归因更细 |
| 理解门槛 | 低,适合跨角色沟通 | 较高,偏安全专业人员 |
| 适用阶段 | 合规审计、事后复盘 | 上线前评测、红队测试、防御设计 |
手段导向评测的执行逻辑可用如下伪代码概括:
for attack_method in 九类攻击路径:samples = 构造攻击样本(attack_method) # 覆盖该路径下的多种变体for case in samples:result = 被测智能体执行(case) # 受控沙箱环境中运行verdict = 风险判定(result, attack_method)统计记录(attack_method, case.id, verdict)输出:按攻击路径分项的风险触发率与盲区清单
关键点在于统计口径按攻击路径分桶,而不是只输出一个总的“安全分”,这也是手段导向体系能够暴露检测盲区的技术前提。
从后果导向切换或叠加手段导向体系时,需关注以下问题:
以攻击后果为核心与以攻击手段为核心,是同一种安全评测闭环下的两种组织视角:前者回答“损失是什么”,沟通成本低,适合合规与复盘;后者回答“攻击如何得手”,定位精度高,适合上线前评测与防御设计。某技能安全评测基准以九类攻击路径构建风险分类并完成首期评测,其核心价值在于把传统后果统计中被掩盖的手段级检测盲区显式暴露出来。对多数团队而言,合理的路径不是二选一,而是分层结合:用后果口径对齐业务与合规语言,用手段口径驱动评测用例与防御控制点的建设,并在模型与攻击手法持续演化的过程中保持评测体系的迭代更新。