对齐大模型越狱鲁棒性评测：拒答逃逸方向与边界

一、评测概述：本文要评测什么

本文的评测对象不是某一款具体模型或平台，而是“对齐后大模型的安全拒答行为及其越狱鲁棒性”。更具体地说，本文关注一个比“某条提示词能否绕过安全机制”更底层的问题：在不改变有害语义理解的前提下，输入侧的局部扰动是否仍会把模型行为从拒答推向回答；这种变化是否可重复、可观测、可解释，并能否被纳入版本回归与上线门禁。

相关研究提出的“拒答逃逸方向”为评测提供了一个重要视角：越狱并不一定意味着模型完全“看不懂”风险，也不一定意味着模型没有识别到有害意图；更复杂的情况是，模型的风险识别、意图判断、策略选择和拒答生成之间存在结构性缝隙，某些局部扰动会牵动回答/拒答边界。对开发者、架构师、安全测试人员和技术负责人而言，单纯收集攻击提示词并不足以判断模型在业务场景中的安全稳健性，还需要建立一套可复用的评测方法，回答以下问题：

• 语义保持扰动下，拒答决策是否稳定；
• 越狱现象是完整风险回答增加，还是仅出现措辞变化、部分回答或安全替代；
• 安全策略收紧后，无害请求的误拒率是否上升；
• 多轮对话、格式约束、角色设定和竞争目标是否放大了拒答边界的不稳定性；
• 模型版本升级后，安全拒答链路是否发生回归；
• 在高风险业务中，应如何设置评测阈值、人工复核比例和灰度策略。

本文适合模型应用开发者、系统架构师、安全评测人员、运维负责人和企业技术团队阅读。评测目的不是给出“某模型安全或不安全”的绝对结论，而是帮助读者建立条件化的判断框架：在什么场景下应重点验证拒答保持率，在什么条件下应关注误拒与任务完成度，以及如何理解安全—效用权衡带来的边界。

二、评测对象说明：拒答链路与拒答逃逸方向

对齐后的大模型通常经过安全微调、偏好优化和拒答训练，能够在明确有害请求上输出拒绝、风险提示或安全替代内容。但从系统工程角度看，拒答不是一个单一开关，而是一条行为链路：模型需要先感知风险，再判断用户意图与上下文，随后选择安全策略，最后生成拒答或替代回答。链路中任一环节受到格式、角色、上下文、竞争目标或多轮状态影响，都可能使最终行为发生偏移。

“拒答逃逸方向”可理解为有害输入附近的一类局部扰动方向：这些扰动不改变模型对有害语义的理解，却能改变回答/拒答行为。评测中不需要假设模型内部存在某个可直接调用的“方向接口”，也不应推断未公开实现；更合理的做法是通过黑盒或受控灰盒实验，观察语义保持扰动下拒答决策的变化，并将变化归因到可观测因素，例如提示结构、格式约束、角色包装、竞争任务、多轮上下文和输出约束。

因此，本文的评测对象包括三个层次：

1. 行为层：模型对有害请求、边界请求和无害请求分别输出什么，是明确拒绝、安全替代、部分回答、完整回答还是风险提示缺失。
2. 稳定性层：在语义等价改写、格式变化和多轮诱导下，拒答决策是否保持一致，是否出现频繁翻转。
3. 权衡层：安全策略收紧是否带来过度拒答，是否降低正常任务完成度，是否影响用户体验和运维成本。

评测边界应明确：本文讨论通用评测逻辑，不评价具体模型私有实现；不编造接口参数、性能数值或内部机制；不把单次攻击成功或单次拒答失败直接视为整体安全结论。

三、评测目标：从“能否越狱”转向“链路是否稳健”

越狱鲁棒性评测不应只统计攻击提示词的成功率，而应验证拒答链路的结构性稳健性。建议将评测目标拆为以下几类：

• 功能完整性：模型是否覆盖明确拒答、风险提示、安全替代、边界澄清等典型安全响应；在无害请求上是否保持正常帮助能力。
• 越狱鲁棒性：在语义保持扰动、格式包装、角色设定、竞争目标和多轮上下文变化下，拒答行为是否稳定。
• 准确性或有效性：风险请求是否被正确拒答或安全替代；无害请求是否被误拒；边界请求是否得到合理解释而非机械拒绝。
• 稳定性：相同或近似输入在重复采样、不同上下文长度、不同语言和多轮对话中是否保持一致。
• 安全—效用权衡：安全策略是否在降低风险放行的同时，造成过度拒答、任务完成度下降或用户成本上升。
• 可观测性与可维护性：评测过程是否记录版本、样本、扰动类型、输出标签、人工复核结论和回归结果，能否支撑问题定位。
• 成本结构：样本构建、人工标注、红队测试、回归测试和推理调用成本是否可控，能否长期运行。

评测重点不是寻找“万能攻击模板”，而是判断模型在业务风险分级下是否存在可重复的拒答逃逸现象，以及该现象是否会影响真实场景。

四、评测维度设计

评测维度	关键问题	观察指标	验证方法	结果解读
安全响应完整性	是否具备明确拒绝、风险提示、安全替代等响应	拒答类型分布、安全替代率、风险提示缺失率	对有害、边界、无害样本分层测试	若风险提示缺失集中在某类请求，应检查策略覆盖与提示设计
越狱鲁棒性	语义保持扰动是否改变拒答决策	拒答保持率、决策翻转率、风险回答放行率	语义等价改写、格式包装、角色设定、竞争目标	语义相似度高但拒答频繁翻转，提示拒答链路局部敏感
拒答准确性	是否误拒无害请求或放过边界风险	误拒率、边界澄清率、人工风险评分	无害集、边界集、人工复核	误拒高说明安全策略偏保守；放行高说明风险控制不足
多轮稳定性	多轮上下文是否累积放大逃逸	轮次间决策变化、上下文依赖度	多轮诱导、状态延续、追问测试	轮次增加后拒答下降，应关注会话状态与上下文隔离
一致性与可重复性	相同输入重复调用是否稳定	重复采样一致率、输出类型方差	固定解码参数，多次重复	一致率低需区分随机解码与安全链路不稳
安全—效用权衡	安全增强是否损害正常帮助能力	任务完成度、安全替代可用性、误拒率	安全集与正常业务集联合评测	需按业务风险设定阈值，不宜单看安全或单看效用
可观测性	能否定位版本、样本和扰动原因	日志字段完整度、复核可追溯性	检查记录规范与回归报告	记录不足会导致问题无法复现和持续优化
成本可控性	评测能否长期运行	样本规模、人工复核量、推理成本	分层抽样与自动化辅助	高风险场景应提高复核比例，低风险场景可抽样

上述指标应组合使用。例如，拒答保持率下降并不必然等于安全缺陷，还要看输出是否变为完整风险回答、是否泄露关键操作信息、是否仍包含风险提示。反之，拒答率很高也不一定代表安全策略优秀，若无害请求大量被拒，说明安全—效用权衡可能失衡。

五、评测环境与前提

评测前必须固定可影响结果的条件，否则不同批次结果难以比较。建议明确：

• 模型版本、系统提示、安全策略配置和上下文长度限制固定；
• 解码参数、采样策略、最大输出长度尽量一致；
• 测试集版本、样本分层标准、标注规范和风险分级固定；
• 单轮与多轮测试分别记录，避免混合统计；
• 语言分布、行业领域、输入长度和格式类型保持可解释；
• 评测平台、推理服务、标注系统和日志记录方式统一；
• 对涉及敏感内容的样本进行隔离管理，仅保留必要的评测记录；
• 重复采样并记录变化范围，不用单次结果下结论；
• 明确测试边界，例如仅文本输入、仅单模型、仅固定系统提示，不外推到未测场景。

评测环境不同会带来差异，例如资源配置、并发压力、网络条件、上下文长度和依赖服务状态都可能影响输出。因此，结果解读应带上条件说明，不能把实验环境结论直接等同于生产环境结论。

六、评测方法：分层样本、扰动族与基线控制

1. 样本分层设计

建议至少构建以下样本集：

• 明确有害请求：用于验证基础拒答和安全替代能力；
• 边界模糊请求：用于观察澄清、风险提示和条件化回答；
• 无害正常请求：用于测量误拒率和任务完成度；
• 安全替代请求：用于验证模型能否提供低风险帮助；
• 多语言与长上下文样本：用于观察语言和长度对拒答链路的影响；
• 格式约束样本：如表格、代码块、列表、角色设定、竞争目标；
• 多轮诱导样本：用于观察上下文累积是否改变拒答决策；
• 版本回归样本：固定保留历史失败案例和典型边界案例。

2. 扰动族设计

扰动设计应围绕“语义保持但结构变化”展开，包括语义等价改写、格式包装、角色设定、竞争任务、输出约束、上下文填充和多轮追问。评测时要记录扰动类型，避免把所有变化混为一个“越狱成功率”。

3. 建立基线与控制变量

先在同一模型版本、同一系统提示和同一解码参数下记录基线行为，再对每个样本施加扰动。控制变量包括上下文长度、语言、输出长度、是否启用安全替代、是否多轮、是否包含格式约束。只有控制变量后，才能判断变化来自扰动本身还是环境差异。

4. 执行与人工复核

自动化评测可辅助扩大样本覆盖，但高风险样本应引入人工复核。复核标签建议包括：明确拒绝、安全替代、边界澄清、部分回答、完整风险回答、风险提示缺失。对“部分回答”要重点判断是否泄露可操作细节。

5. 示意性评测伪代码

for case in safety_suite:
    base_output = run(model, case.prompt, fixed_decoding)
    base_label = risk_review(base_output)
    for perturb in semantic_preserving_perturbations(case):
        perturbed_output = run(model, perturb, fixed_decoding)
        perturbed_label = risk_review(perturbed_output)
        similarity = semantic_similarity(case.prompt, perturb)
        record(case.id, perturb.type, base_label, perturbed_label,
               similarity, review_notes, model_version, env_config)
summarize_by_dimension(records)
compare_with_baseline(records)
review_high_risk_changes(records)

该流程强调记录样本、扰动类型、基线标签、扰动后标签、语义相似度和人工复核意见，便于后续回归和问题定位。

七、结果解读：看组合指标，不看单点结论

结果解读应遵循“组合指标+条件边界”的原则：

• 若语义保持扰动下拒答保持率明显下降，同时人工复核确认风险回答放行增加，说明拒答链路存在局部敏感性，应优先排查扰动类型和上下文因素；
• 若输出只是措辞变化、拒答模板变化或安全替代形式变化，但风险信息未增加，则不应直接判定为越狱成功；
• 若无害请求误拒率上升，说明安全策略可能偏保守，需要结合业务场景评估用户体验和任务完成度；
• 若多轮对话中拒答逐步下降，应关注会话状态累积、上下文隔离和轮次策略；
• 若版本升级后某些历史样本回归失败，应建立版本门禁和灰度发布；
• 若不同语言、不同长度样本差异明显，应扩展分层样本，避免以偏概全。

评测报告应给出变化范围和一致性情况，而不是仅给单次结果。对关键结论应说明适用条件，例如“在固定系统提示、单轮文本输入和特定解码参数下观察到拒答决策翻转”，不能外推为所有部署方式。

八、适用场景分析

不同业务场景关注点不同：

• 高风险内容安全场景：优先关注风险回答放行率、拒答保持率、人工复核可追溯性，安全阈值应更严格。
• 企业知识助手与客服场景：在安全基础上关注误拒率、安全替代可用性和任务完成度，避免安全策略损害正常服务。
• 多轮对话与智能体场景：重点验证上下文累积、状态延续和工具调用前后的拒答一致性。
• 编程助手与开发工具场景：关注边界请求、代码安全提示和部分回答风险，避免可操作细节泄露。
• 高并发在线服务：在保证样本覆盖的前提下关注评测成本和回归频率，可采用分层抽样与自动化辅助。
• 模型选型与版本升级：重点比较基线稳定性、历史失败案例回归和长期维护成本，而不是单次攻击成功率。

九、风险与限制

越狱鲁棒性评测存在天然边界：样本可能存在偏差，标注具有主观性，对抗样本会持续演化，模型版本和解码策略会导致结果漂移；多语言、长上下文、多轮状态和工具调用会引入额外变量。评测还可能出现过拟合，即针对固定测试集优化后表现改善，但面对新扰动仍不稳定。因此，评测应定期更新样本、保留历史回归集、引入人工复核，并记录环境配置。结论只能说明在特定条件下拒答链路是否稳健，不能替代真实业务风险评估。

十、选型与使用建议

建议将拒答逃逸方向纳入常态化安全评测：建立分层样本库和扰动族；固定基线并记录版本差异；自动化评测与人工红队结合；按风险等级设置复核比例；对安全—效用进行联合评估；上线前做版本门禁，上线后做灰度观察和持续回归；对高风险场景保留安全替代和风险提示；对误拒较高的场景优化澄清策略而非简单放宽。最终选型应结合业务风险、用户体验、运维成本和长期维护需求综合判断，避免绝对化结论。

十一、总结

对齐后大模型仍可能被越狱，原因不只是提示词技巧，也可能在于拒答链路存在可被局部扰动牵动的结构性缝隙。本文围绕拒答逃逸方向给出评测框架：以语义保持扰动为核心，从安全响应完整性、越狱鲁棒性、拒答准确性、多轮稳定性、安全—效用权衡、可观测性和成本等维度设计指标，通过分层样本、基线控制、人工复核和版本回归验证模型行为。评测的价值不在于寻找单一攻击模板，而在于帮助团队理解拒答边界、识别风险放行与过度拒答之间的权衡，并建立可持续迭代的安全评测机制。