Agent慢与不准:长链路和短链路怎么选

作者:十万个为什么2026.11.16 10:38浏览量:0

简介:Agent落地后,准确率和响应速度经常互相拖累。本文对比确定性业务逻辑与Agent决策、以及准确优先的长链路和速度优先的短链路,说明差异来自何处、什么场景该选哪条路径,并给出选型与上线时的边界和风险。

本文对比的不是某一家产品,而是Agent工程里最常见的两条路径:准确优先的长链路,与速度优先的短链路。同时把它们放在传统确定性业务系统旁边,说明为什么Demo阶段显得聪明、接入真实业务后却又慢又不稳。结论先说清楚:慢和不准已经能靠工程手段缓解,但还没有被彻底消灭。选型的关键不是追求“更智能”,而是看任务容错、时延预算和失败代价。

对比背景

做过几个真正落地的Agent项目后,会遇到同一个现象:演示时回答流畅、步骤完整;一旦面对真实业务、复杂任务和不确定输入,速度和准确率往往一起下降。更麻烦的是,这两个问题通常绑在一起。

为了提高准确率,开发者会增加检索、规划、反思和工具调用,执行链路变长。为了提高速度,又会减少步骤、压缩上下文、限制工具次数,结果容易漏信息、做错决策。为了提高稳定性,再叠加规则和流程约束,Agent的自主空间又变小。这是当前Agent工程化的核心矛盾之一。

因此有必要把三类对象放在一起看:传统确定性程序、准确优先的长链路Agent、速度优先的短链路Agent。前一类解决“同样输入必须同样结果”;后两类都在用模型做判断,只是把准确、时延和自主性的权重放在不同位置。

对象定义

确定性业务系统按显式规则执行。输入条件相同,分支、计算和外部调用顺序通常固定。例如会员折扣可以直接写成条件判断,不需要模型决定“要不要再查一次资料”。

长链路Agent把任务拆成多步:理解需求、制定计划、检索、分析结果、调用业务接口、检查结果、必要时反思,再生成回答。每一步都可能再调用模型。它要解决的是开放问题:工具该不该用、信息够不够、当前结果是否满足用户要求。

短链路Agent把决策次数压到很少。常见做法是先用规则或分类器把任务收窄,只允许有限工具、有限轮次和较短上下文,能一次完成就不要拆成七步。它优先保证可接受时延和结果稳定,而不是把每一步都交给模型重新判断。

相同点

三者都可以对外提供业务能力,也都可以调用检索、数据库、消息或业务接口。长链路和短链路都依赖模型做非确定性判断,都要处理提示、工具返回、权限和失败重试,也都受上下文长度、模型时延和工具时延影响。

它们的目标也有重叠:减少人工操作、把自然语言请求变成可执行动作、在信息不完整时给出下一步。差别不在“能不能调用工具”,而在“谁来做关键决策、决策做几次、错了由谁兜底”。

核心差异

决策是否确定

确定性系统的分支由代码固定。输入相同,结果通常相同,便于测试和审计。

Agent把下列判断交给模型:调用哪个工具、是否继续搜索、信息是否足够、下一步做什么、结果是否达标。任务越复杂,决策点越多,单次小偏差越容易累积成错误结论。长链路的决策点最多,准确率上限可能更高,但方差也更大。短链路减少决策点,错误面变小,同时也会错过需要临场补检索的情况。

示意性伪代码只能说明控制权不同,不能当成可直接上线的实现:

  1. if user_type == "vip":
  2. discount = 0.8
  3. else:
  4. discount = 1.0

上面这段在相同输入下行为稳定。Agent对应的问题则是:“当前请求是否已经具备计价所需字段?缺的字段该问用户还是查接口?”这类判断没有唯一代码分支。

时延从哪里来

长链路常见步骤是串行的:上一步没结束,下一步不能开始。理解、规划、检索、分析、调用接口、检查、生成,每步一次模型调用,延迟就会叠加。有的任务因此要等几十秒甚至数分钟。工具本身慢、网络往返和长上下文的首Token时间,都会加进总时延。

短链路尽量合并步骤,或让可并行的检索同时发生,并用规则提前截断明显不该继续的分支。速度快,是因为少调用、少等待,不是因为模型本身变快。代价是信息不足时更容易过早作答。

确定性系统的时延主要来自接口和计算,不来自反复“想下一步”。它不适合开放问答,但在固定流程上通常更可预期。

上下文与重点

长链路容易把历史对话、工具原文、计划和中间状态全部放进上下文。短期看信息更全;变长之后,Token消耗上升,首Token可能变慢,重要事实被无关文本淹没,旧状态还可能和当前任务冲突,模型会引用已经过期的执行结果。所以“上下文更长”不等于“更准确”。

短链路要求严格的状态摘要:只保留当前目标、已确认事实、待补字段和最近一次工具结果。它降低淹没风险,也增加摘要本身写错或漏写的风险。摘要应由程序维护关键字段,而不是每次让模型自由复述全部历史。

自主性与稳定性

长链路自主性高,适合步骤事先写不全的任务。稳定性差一些,因为模型可能多调用、少调用或在反思循环里打转。

短链路和强规则约束把自主性换成可预期行为。异常路径更清晰,但遇到规则没覆盖的输入时,会显得僵硬,甚至直接失败。

确定性系统自主性最低、稳定性最高,适合规则清楚、错误代价明确的交易和权限变更。

其他工程维度

架构上,长链路依赖编排器、工具注册、状态存储和循环控制;短链路依赖意图分类、白名单工具和轮次上限;确定性系统依赖普通服务和事务。接入成本都要改业务接口,但Agent还要设计失败时的人机交接。

安全上,三者都应做身份认证、权限校验、数据隔离和审计。Agent额外要限制工具参数来源,避免把模型生成的未校验内容直接当成高权限操作。不要假设“模型说可以调用”就等于“当前用户有权调用”。

运维上,长链路要记录每步输入输出和终止原因,否则无法解释慢和错。短链路要监控提前截断率和漏检率。成本上,长链路的模型调用和Token通常更高,短链路的人力更多花在规则和评测集维护上。这里不比较具体价格,只比较成本结构:调用次数、上下文长度、人工兜底和返工。

差异对照

维度 确定性业务系统 准确优先长链路 速度优先短链路
决策方式 固定分支 多轮模型判断 少量判断加规则收窄
结果一致性 高 较低,误差可累积 中等,受规则覆盖度影响
时延 主要由接口决定 串行步骤叠加,易变长 步骤少,时延更可控
上下文 通常不依赖长对话 易膨胀并冲淡重点 依赖短摘要,有漏写风险
自主性 低 高 中低
适合任务 规则明确的交易与校验 开放、多源信息综合 时延敏感、路径可枚举
主要风险 规则遗漏导致功能僵化 慢、循环、引用过期状态 过早回答、漏工具

场景怎么选

规则闭合、同一输入必须同一结果、还要审计回放的流程,优先确定性系统。折扣、权限、库存扣减、支付状态不应交给模型“感觉一下”。

问题开放、资料来自多个来源、用户能接受较长等待、答错的代价主要通过人工复核消化时,长链路更合适。典型是内部知识综合、复杂排障的初稿、需要多轮补齐条件的方案草拟。这里的价值是覆盖未知步骤,不是替代最终责任人。

交互要在数秒内返回、任务类型可以事先分类、工具集合不大时,短链路更合适。例如客服里的查单、改地址前的字段补齐、固定报表解释。如果分类错误会把用户带进错误工具,分类本身也要用评测集盯住,而不能只看演示案例。

很多生产系统应是混合,而不是二选一。模型负责理解和草拟,确定性服务负责计价、鉴权和状态变更;长链路只在短链路判定“信息不足且允许等待”时升级。这样慢和不准不会在每条请求上同时出现。

选型建议

先写清三个约束:用户能等待多久、答错一次的业务损失、任务路径是否可以枚举。三个约束都宽松,才值得上长链路;时延紧且路径可枚举,用短链路;结果必须可重复、可审计,把关键写回留在确定性服务里。

不要用“增加一步反思”作为默认提准手段。每增加一次模型调用,都要同时回答:这一步纠正的是哪类错误,失败时如何停止,最坏时延是否仍可接受。同样,不要用“把上下文截短”作为默认提速手段,除非评测证明被删掉的内容确实不影响当前决策。

评测应分开看准确、时延和稳定性,而不是只看一个总分。至少包括:正确完成率、错误类型、P95时延、平均模型调用次数、提前终止率、工具误调用率。没有这些数,就无法判断慢和不准到底被缓解了多少。

若团队已有百度智能云上的应用运行环境,选型时仍应以上述约束为准:托管运行环境可以降低部署和观测的基础工作量,但不能替代任务拆分、权限边界和评测。不要把平台能力理解成准确率或时延的保证。

迁移与使用注意

从长链路改到短链路,先列出必须保留的工具和必须人工确认的动作,再删步骤。直接砍检索,常常把“慢但偶尔找得到”变成“快但稳定漏掉”。

从短链路放开到长链路,要先设最大轮次、最大工具次数和总时延预算,并保存结构化状态,而不是无上限追加原文。否则上线后成本和处理时间会随对话变长一起上升。

切换时还要核对:工具入参是否仍由服务端校验;用户权限是否在每次调用前重查,而不是沿用旧结论;失败、超时和部分成功是否有补偿;日志能否按请求还原每一步,同时又不把敏感数据无节制写入提示。接口字段变化后,旧的计划文本可能继续引用过期状态,这是长链路迁移里最常见的准确率回退。

灰度时按任务类型切,不要按整站一次切换。先拿路径固定、损失可逆的场景验证时延和误调用,再放开开放问答。

总结

Agent又慢又不精准,根源是模型决策不确定、多轮串行叠加延迟、长上下文稀释重点,以及准确、速度、自主性三者互相挤占。长链路用更多判断换覆盖度,短链路用更少判断换时延和稳定,确定性系统则把关键写回留在可重复逻辑里。

选择时看等待预算、错误代价和路径是否可枚举。能混合就不要让模型包办全程。慢和不准可以被工程设计明显缓解,但只要关键步骤仍由模型临时决定,就不能说问题已经彻底解决。