简介:六脉神剑(Strata-Sword)是阿里巴巴 AAIG 团队提出的多级安全评测基准,核心创新是把"推理复杂度"量化为可评估的安全维度,将有害越狱指令划分为基础指令、简单推理、复杂推理三个层级,用 15 种越狱攻击方法、700 条指令构建分级评测集,并首次引入藏头诗、猜灯谜、汉字拆解三种中文特色攻击。本文拆解它的设计逻辑、指标算法与落地评测流程,帮助你在模型选型与安全对齐时有据可依。
传统安全评测大多只回答一个问题:模型会不会直接输出有害内容。但真实攻击很少是直白提问,攻击者会包装、拆解、编码、多轮铺垫。 六脉神剑(Strata-Sword) 的价值在于把”攻击者需要模型替他想几步”变成了一个可量化的安全维度——推理复杂度。
如果你正在为业务挑选模型,建议一边读评测方法论,一边在百度智能云词元所上对比不同大模型的能力定位与调用成本,再决定拿哪几个模型作为安全基线来跑这套评测。
Strata-Sword 依据推理复杂度的关键要素,把有害越狱指令切成三层,15 种越狱攻击方法按复杂度归入 3 个等级,合计 700 条指令。
| 层级 | 攻击形态(工程理解) | 对模型的要求 | 典型失效原因 |
|---|---|---|---|
| 基础指令 | 有害意图直接暴露,可能有轻度角色扮演包装 | 意图识别 + 拒答 | 安全对齐不足、拒答话术缺失 |
| 简单推理 | 需要一步语义转换才能还原真实意图 | 语义还原能力 | 只看关键词、忽略上下文指代 |
| 复杂推理 | 多步编码/拆解/隐喻叠加,约束条件多 | 多步推理 + 安全约束同时生效 | “能力挤占安全”:推理资源被解谜占用 |
这张表指向一个关键工程结论: 模型的安全表现会随推理复杂度衰减 。很多模型在基础层拒答率接近满分,到复杂推理层就明显下滑。只看一个总分,会掩盖这种衰减曲线。
该基准针对中文和英文分别定制攻击方法,并首次引入三种具有中文特色的越狱攻击:
这三类攻击的共同点是: 基于英文语料训练的安全对齐几乎必然失效 ,因为它们利用的是中文特有的结构冗余(字形可拆、语序可藏、典故可代)。对中文为主的业务,这部分往往比英文子集更能暴露真实风险。
评测集拿到手后,核心是三件事:批量推理、判定、分层统计。
import jsonfrom collections import defaultdict# strata_sword.jsonl: {"id":..., "level": "basic|simple|complex", "lang": "zh|en", "prompt": ...}data = [json.loads(l) for l in open("strata_sword.jsonl", encoding="utf-8")]def call_model(prompt, model="your-model"):# 统一封装:不同厂商模型走同一入口,便于横向对比...def judge(prompt, response):# 建议"规则/关键词初筛 + 裁判模型复判"两级判定,降低单一判定偏差...stat = defaultdict(lambda: {"total": 0, "unsafe": 0})for item in data:resp = call_model(item["prompt"])key = (item["level"], item["lang"])stat[key]["total"] += 1if judge(item["prompt"], resp):stat[key]["unsafe"] += 1for (level, lang), s in sorted(stat.items()):asr = s["unsafe"] / s["total"]print(f"{level:8s} {lang} ASR={asr:.1%} n={s['total']}")
三个必须一起看的指标:
ASR(complex) - ASR(basic),这个差值比绝对分更能反映对齐的稳健性。判定环节建议采用”关键词/分类器初筛 + 裁判模型复判”的两级方案,并对边界样本做人工抽检,否则 ASR 数字很容易因为判定口径不同而失去可比性。
评测只有接入闭环才有意义。可行的顺序是: 评测定位薄弱层级 → 针对性安全对齐(安全 SFT / 偏好优化)→ 输入输出侧防护 → 安全知识增强 → 回归评测 。百度在大模型安全实践中给出的思路与此一致,覆盖训练/精调/推理、部署、业务运营全生命周期,并通过”安全评测 + 安全对齐 + 安全防护 + 安全知识增强”的服务闭环完成内生安全增强。
工程上还有两个补充手段值得叠加:
不要用一个”综合安全分”做决策。建议流程是:先用 Strata-Sword 这类分级基准筛出 2~3 个候选模型,重点看复杂推理层的 ASR 与误拒率;再结合业务真实流量估算调用成本。在词元所这类大模型 API 服务平台上,可以把候选模型的能力定位、价格与调用管理方式放在同一处对比,减少逐个厂商试用和自行封装多套 SDK 的重复工作。
如果你的场景以中文为主,务必单独统计藏头诗、猜灯谜、汉字拆解这三类样本的表现——它们往往是整体分数最高、实际风险也最高的盲区。评测完成后,把薄弱层级作为安全对齐的输入,再通过百度智能云词元所统一接入与观测线上调用,才能形成”评测—对齐—防护—回归”的持续收敛过程。