简介:当 Agent 出现异常时,很多人默认"加个最大轮数限制"就能高枕无忧,但灾难命令、死循环、持续失败、Token 失控、无人值守高风险操作这五类问题的检测方式与正确应对截然不同。本文对比"单一参数兜底方案"与"分层异常处理方案"两种思路,并深入比较 Prompt 层防御与代码层防御的差异,帮你按异常类型选择恰当的检测手段与拦截策略。
当开发者部署一个具备工具调用能力的 Agent 时,通常会顺手加上一个最大轮数(max_turns)限制,似乎”防止跑飞”的问题就此解决。但真实的线上事故反复证明:一个参数兜不住所有异常。本文对比两种根本不同的思路——“单一参数兜底方案”与”分层异常处理方案”,并进一步比较 “Prompt 层防御”与”代码层防御” 的技术差异,帮助你在面对不同异常时做出正确的检测与应对选择。
“Agent 出了问题该怎么停”听起来像是一个问题,实际上至少是五个彼此独立的问题。它们的紧迫程度、检测速度、决策主体、正确应对都不相同:
用一个 max_turns=25 去应对这五种异常,就像用同一件工具去对付火灾、洪水、地震、停电和入室盗窃——有的能沾边,有的完全不对症。死循环或许能被轮数上限截断,但灾难命令在第一步就已执行,持续失败可能在 25 轮内反复触发副作用,Token 失控则可能在第 3 轮就把预算烧穿。这就是对比两种方案的前提。
单一参数兜底方案:仅依赖一个或少数几个全局静态参数(如最大轮数、最大执行时长)作为唯一的熔断开关,所有异常共用同一套限制逻辑。
分层异常处理方案:将异常按类型拆解,在 Agent 执行链路的不同环节部署不同的检测器,每种异常匹配专门的检测方式与应对策略,形成”检测—决策—响应”的多层管道。
需要强调:行业目前对 Agent 异常的分类尚无统一标准,以下五类是基于真实事故归纳出的通用视角,而非某个专有框架的能力。
两种方案在目标层面是一致的,并非对立关系:
max_turns 作为最后一道防线之一保留下来——只是它不再是唯一防线。也就是说,对比的重点不是”要不要限制”,而是”限制放在哪一层、检测得够不够早、应对是否对症”。
风险特征:Agent 生成了一条破坏性命令(例如删除文件系统的操作),或路径变量为空导致删除范围被放大到整个磁盘。更隐蔽的是提示词注入——通过被污染的输入文件诱导 Agent 执行数据外传指令。这类问题的特点是不可逆,必须在执行前拦截。
检测方式:无法靠”跑了几轮”来发现,只能在每一次工具调用真正落地之前做静态检查。
应对差异:单一兜底方案几乎无能为力——第 1 步就执行了,轮数限制根本没有触发机会。分层方案会在工具调用前设置一道硬拦截,识别危险命令模式与异常路径。
风险特征:Agent 反复执行相同动作,或在两个状态间来回震荡,无法收敛。
检测方式:识别重复调用同一工具且参数高度相似的模式,或状态哈希在连续多步内不变。
应对差异:这是 max_turns 相对有效的场景,但它属于”事后截断”——问题已经烧了十几轮。分层方案可以更早通过”重复检测”介入,而不必等到轮数耗尽。
风险特征:每一步都报错(工具不存在、参数格式错、权限不足),Agent 却不改变策略,连续撞墙。
检测方式:统计连续失败次数与错误类型分布,而非总轮数。
应对差异:单一兜底方案在轮数上限内可能让 Agent 反复制造副作用。分层方案会设定”连续失败 N 次即降级或转人工”,并区分错误类型采取不同恢复策略。
风险特征:上下文不断膨胀(如反复读取大文件),或对话历史无限累积,导致成本飙升甚至超出上下文窗口。
检测方式:监控单位时间 Token 消耗速率与上下文增长曲线,做成本阈值与速率预警。
应对差异:轮数限制与 Token 消耗并不线性相关——少数几步就可能耗尽预算。分层方案需要独立的成本维度监控,在预算阈值处触发摘要、裁剪或暂停。
风险特征:没有人在场时,Agent 执行了需要人工授权的高风险动作(如生产环境变更、删除并重建资源)。
检测方式:识别操作的风险等级,并结合”是否有人值守”的会话状态。
应对差异:单一兜底方案无法感知风险等级。分层方案会引入风险分级 + 授权策略:高权限操作在无审批人时默认挂起而非执行。
| 维度 | 单一参数兜底方案 | 分层异常处理方案 |
|---|---|---|
| 检测粒度 | 全局静态阈值(轮数/时长) | 按异常类型分环节检测 |
| 检测时机 | 多为事后截断 | 多为执行前/过程中的前置拦截 |
| 灾难命令 | 基本无效 | 工具调用前硬拦截 |
| 死循环 | 有效但滞后 | 重复模式早期介入 |
| 持续失败 | 难区分错误类型 | 按失败次数与类型降级 |
| Token 失控 | 无覆盖 | 独立成本阈值监控 |
| 无人值守高风险 | 无法感知风险等级 | 风险分级 + 授权挂起 |
| 接入成本 | 低,改一个参数即可 | 中高,需在链路多点埋点 |
| 误杀风险 | 低(但漏防严重) | 需调优,存在误拦截可能 |
分层方案能不能真正防住灾难命令,取决于一个更细的选择:安全检查放在哪一层。
# 示意:工具调用落地前的代码层拦截def guard_tool_call(command: str, cwd: str, policy: dict) -> Decision:# 1) 灾难命令模式硬拦截(代码层,非模型判断)if matches_destructive_pattern(command):return Decision.BLOCK# 2) 路径规范化后校验,防止变量为空导致作用域放大resolved = normalize_path(command, cwd)if not is_within_allowed_root(resolved, policy["roots"]):return Decision.BLOCK# 3) 网络出站策略if needs_network(command) and not policy["allow_network"]:return Decision.REQUIRE_APPROVALreturn Decision.ALLOW
主流做法通常是代码层做硬约束 + 沙箱隔离 + 分级审批策略的组合,而 Prompt 层只作为补充。结论是:安全底线必须在代码层,Prompt 层不足以承担拦截职责。
Agent 的异常不是一种问题,而是至少五种:灾难命令要执行前硬拦截,死循环要重复检测,持续失败要按错误降级,Token 失控要独立成本监控,无人值守高风险要风险分级 + 授权挂起。单一参数兜底方案接入简单、误杀低,但覆盖窄、多处漏防;分层异常处理方案覆盖全面、检测更早,代价是接入与调优成本更高。核心决策不在于”要不要限制”,而在于把哪类检测放在哪一层——尤其是,把安全底线交给确定性代码,而不是交给可以被诱导忽略的自然语言指令。