简介:本文以一套"以攻击手段为核心"的 Agent 技能信任评测方法为线索,系统讲解如何把技能(Skill)映射到五个 Agent 依赖层、围绕九类攻击手段设计测试用例、执行评测并识别检测盲区。读完可掌握从威胁分类到验证落地的完整流程,提升 Agent 应用的主动防御与安全评估能力。
本教程帮助读者完成一个明确任务:为一套 Agent 技能建立”以攻击手段为核心”的安全评测体系,并按五个依赖层、九类攻击手段逐层设计测试用例、执行评测、识别检测盲区。最终你将得到一份可复用的评测清单和一套判定”技能是否可被攻破”的方法,而不是笼统的”看起来不安全”。
适合读者包括:负责 Agent 应用落地的开发者、需要评估第三方技能安全性的运维与安全人员,以及需要为团队建立上线安全门槛的技术负责人。
很多安全分类习惯按后果划分,例如数据外泄、文件破坏、拒绝服务等。问题在于:同一种后果可以由完全不同的手段达成,而不同的后果又可能来自同一次注入。按后果分类,会让”我们要防什么”与”它到底怎么被攻破”对不上号—— Defense 措施永远滞后于攻击手法。
本教程采用的分类原则相反:以攻击手段为核心,按 Agent 所依赖的不同元素来区分。每个类别刻画的是”攻击者如何利用某个 Agent 依赖元素实施攻击”。这样做的直接好处是:防护动作可以精准挂接到依赖元素上,评测用例可以一一对应到攻击手法,漏检时也能快速定位是”哪一层、哪一手段”没覆盖到。这套思路与业界通用的 LLM 应用安全威胁框架(ASi 系列与 LLM Top 10)保持对齐,便于和现有安全流程衔接。
评测的第一步是把技能映射到依赖层,再把每一层的攻击手段展开成用例。下面是一个可套用的分层与九类手段的参考框架,核心在于”按依赖元素定位手法”这一方法本身。
攻击者操纵 Agent 的目标、规则或持久记忆,从源头改变其行为。
逐条列出待评测技能的定义、目标、依赖的工具/知识源/模型,以及它能读写哪些数据。这一步产出的是后续分层的输入,清单不全会导致某些依赖层被整体遗漏。
把清单中的每个依赖元素挂到 A–E 五个层上。判断标准很简单:这个元素被攻击者操纵后,会导致哪一类手段成立。一个技能通常横跨多层,跨层组合(如 T02+T03)往往是最危险的路径,需要单独标记。
对每个命中的手段编写至少一个可复现用例,记录输入、期望的”安全行为”和判定口径。示例(伪代码,通用示意):
for technique in [T01..T09]:case = build_case(technique, target_skill)record = run_in_isolated_env(case)verdict = judge(record, criteria[technique])log(technique, verdict, evidence)
注意:用例要包含正向诱导变体(直球)与隐蔽变体(包装、多轮),否则测出的”安全”只是没被正面命中。
在隔离环境批量运行,按手段汇总命中率。命中即代表该手段下技能可被攻破;未命中不代表安全,只代表”本轮用例未攻破”,需结合覆盖度判断可信度。建议对每个手段给出”用例数 / 命中数 / 覆盖变体类型”三项,避免用单一通过率掩盖盲区。
把”未覆盖的手段”和”跨层组合路径”单列。真正容易漏检的往往是三类:一是供应链/依赖污染(T09),二是记忆这类跨会话持久状态(T02),三是多层串联攻击。把这三类作为固定检查项,能显著降低”评测通过但上线即被打穿”的概率。
本教程给出了一套可落地的 Agent 技能安全评测流程:以攻击手段为核心,把技能映射到五个依赖层,围绕九类手段(T01–T09)设计用例、隔离执行、打分并识别盲区。关键收获有三点:一是”按手段分类”让防护与评测能精准挂接;二是覆盖度、对抗性、跨会话三类验证决定结果是否可信;三是供应链、记忆、多层串联是最常被忽略的盲区。后续可继续深入的方向包括:把评测接入持续集成、扩充隐蔽变体用例库,以及与业界通用威胁框架做进一步映射,形成团队的技能上线安全门槛。