简介:在固定预算下让智能体读完尽可能多的资料,"每次都调用大模型逐篇精读"与"快模型筛选+慢模型决策"的双系统分层架构是两条典型路线。本文从架构、调用结构、延迟与成本、准确率风险、扩展性、运维与合规等维度对比两类方案,给出条件化的选型建议与迁移注意事项。
研究型智能体(Research Agent)面对的是一个结构性的资源矛盾:如果每阅读一篇文档、每一个片段都要调用一次通用大语言模型去做理解与判断,那么在有限的研究预算里——包括时间预算、算力与费用预算、接口调用配额预算——它实际能覆盖的资料范围就非常有限。
这个矛盾可以概括成一句话:看得越细,看得就越少;看得越快,理解就可能越浅。传统做法只有两个旋钮:把调用粒度调粗(少调用、每篇读得糙),或者把预算调大(读得细但烧钱、拖慢整体时延)。两者都没有解决”用贵的脑子做便宜的判断”这一根本浪费。
值得借鉴的一个思路来自认知心理学中关于双系统理论的经典描述:人脑在处理问题时,一套系统负责快速、直觉式的判断(例如扫一眼表情就知道对方是否在生气),另一套系统负责慢速、费力的深度推理(例如解一道数学题)。关键在于,前者承担了绝大部分高频判断,后者只在需要严密推演时才被唤起。
把这一思想映射到智能体架构上,就得到了本文要对比的两类方案。
方案A:单模型端到端串行阅读(Slow-Only)
由一个通用大语言模型统一承担全部工作:读取文档、判断片段是否相关、决定继续读还是跳过、整合证据、生成结论。所有决策共享同一套推理能力,质量上限高,但每一次判断的成本相同——包括那些本质上只需要”是/否”的低价值判断。
方案B:快慢双系统分层架构(Fast-Slow)
拆成两层:
两者的配合本质是级联(Cascade):快系统作为召回层在海量候选上做低成本过滤,慢系统作为精排与推理层只在少量高价值候选上投入昂贵的推理预算。
在讨论差异之前,先明确它们并非对立的技术物种:
也就是说,方案B不是在替换方案A的能力,而是在方案A之上增加了一层调度结构。理解这一点,选型讨论才不会变成”谁更聪明”的争论,而是”预算怎么分配”的争论。
方案A是单点结构:模型即系统,逻辑清晰、调用链短,排查问题时只需看一层。方案B引入了明确的分层边界:快系统需要独立的训练或调优流程、独立的版本管理、独立的评估指标,并且必须与慢系统在输入输出契约上对齐(例如证据片段的结构、置信度阈值的定义、失败时的降级协议)。这意味着系统边界从”一次调用”扩展为”一条流水线”。
这是最本质的差异。设候选片段数为 N,慢模型单次调用成本为 C_slow,快模型为 C_fast,且通常 C_fast ≪ C_slow。
结论不是”方案B一定更便宜”,而是:当 N 远大于 M,且筛选任务的判别难度不高时,方案B在成本与时延上的结构性优势才成立。如果资料本来就不多,或者每一篇都必须精读,分层的额外开销反而可能不划算。
方案A的端到端时延是多次慢调用串行的累加,长文档场景下尾延迟明显。方案B的快系统通常推理更轻、批处理友好,可以把”扫读”阶段做成高并发的批量任务,只在筛选完成后触发少量慢调用,因此在”资料量大、单篇价值稀疏”的场景里,端到端时延更容易控制。需要注意,分层本身增加了调度开销与状态管理,短任务上这部分开销占比会被放大。
方案A不存在层间信息损失:慢系统看到了原始材料,判断链条最长。方案B的准确性上界受快系统制约——快系统的漏检无法被慢系统挽回。这是分层架构最需要正视的代价。缓解手段是工程化的,而非架构自带的:把快系统调成”高召回、低精度”(宁可放过噪声也不漏证据)、为不同查询类型设置不同阈值、保留”不确定则上抛给慢系统”的通道。
方案B在扩展性上有一个常被低估的好处:快系统可以独立迭代。当发现某一类文档反复被误判时,只需更新筛选层,而不必改动推理层的提示与流程。同时也支持按文档类型路由不同筛选器(表格、代码、法规、纪要)。代价是版本矩阵变复杂了——筛选层与推理层的组合需要回归测试。
两者都涉及把外部文档送入模型推理,需要考虑数据出域、脱敏、租户隔离、访问权限与审计留存。方案B因为调用次数更多,敏感内容进入模型边界的次数也随之增加,脱敏与最小必要原则需要覆盖每一层,而不只是最终推理那一次调用。审计上,方案B天然产出更细的过滤轨迹(哪些片段被丢弃、依据是什么),这对结论可解释性其实是加分项。
| 维度 | 方案A:单模型串行直读 | 方案B:快慢双系统分层 |
|---|---|---|
| 架构形态 | 单点调用链 | 级联流水线,两层独立 |
| 主要成本驱动 | 慢模型调用次数 × 单篇复杂度 | 快模型全量扫描 + 慢模型少量精推 |
| 成本优势条件 | 资料量小、每篇都需精读 | 候选量大、有效证据稀疏 |
| 端到端时延 | 随资料量线性增长,尾延迟高 | 可批处理并发,调度开销略增 |
| 准确率上界 | 高,无层间信息损失 | 受筛选层召回率约束 |
| 可控性 | 依赖提示词与流程设计 | 可通过阈值、路由精细调参 |
| 迭代方式 | 改提示词/换更强模型 | 筛选层可独立优化、独立评估 |
| 运维复杂度 | 低,一层日志与监控 | 较高,需双版本管理与回归测试 |
| 排查难度 | 直观 | 需区分”没找到”还是”被筛掉” |
| 主要风险 | 预算失控、长文档时延 | 关键证据被前置过滤漏检 |
| 适用阶段 | 快速验证、资料集较小的专题 | 大规模资料、常态化批量研究流水线 |
从工程实现角度看,两层结构对基础设施的要求也更高:需要任务队列与批处理、结果缓存、调用配额治理、指标与告警,这些都属于通用云能力的范畴。例如在百度智能云等平台上,可以用对象存储承接原始与解析后的文档、用消息队列做扫读阶段的削峰与解耦、用容器平台承载并发推理任务、用日志服务与监控告警观测两层调用量与命中率、用身份认证与访问控制做多团队隔离。这些属于通用能力组合,不构成架构选型上的强绑定,自建同样可行。
方案B的调度逻辑可以抽象为如下伪代码,重点在于”阈值决定上抛还是丢弃”:
def research(query, corpus, slow_llm, fast_filter,keep_threshold=0.35, escalate_threshold=0.7):# 1) 慢系统制定计划:拆解子问题、决定检索方向plan = slow_llm.plan(query)# 2) 快系统全量扫读:高召回筛选,成本可控scored = [fast_filter.score(doc, plan.evidence_spec)for doc in corpus]# 3) 分层路由:高分直接精推,中间带保留给慢系统复核confident = [d for d in scored if d.score >= escalate_threshold]uncertain = [d for d in scored if keep_threshold <= d.score < escalate_threshold]dropped = [d for d in scored if d.score < keep_threshold]# 4) 慢系统只做深度工作:复核不确定项、整合证据、处理冲突reviewed = slow_llm.verify(uncertain)evidence = merge(confident, reviewed)answer = slow_llm.synthesize(query, evidence)# 5) 可解释性:丢弃决策留痕,便于复盘与调参return answer, trace(dropped, thresholds)
方案A在同一接口下则是把第 2 步替换为”对每篇文档调用慢系统做判断”,其余流程可以保持一致。这种接口对齐很重要,它让 A/B 切换与灰度对比的成本大幅降低。
更适合方案A的情况:
更适合方案B的情况:
混合形态往往最实用:先以方案A小规模跑通并产出标注数据,再用这些数据训练筛选层,逐步把高频、低难度的判断下沉到快系统;对高价值、低容错的任务保留全量慢读通道。这本质上是一次渐进式重构,而非一次性切换。
选型的核心不是问”哪个模型更强”,而是问三个条件性问题:
同时提醒两个常见误区:一是把”降成本”当成唯一目标,忽略了筛选层引入的召回风险需要长期投入监控;二是假设换了更强的大模型就能解决一切,而实际上预算约束下的路由策略往往比模型本身更影响结果覆盖率。
如果决定从方案A迁移到方案B,以下环节最容易出问题:
方案A与方案B解决的是同一个问题,差别在于如何分配有限的推理预算。单模型串行直读把昂贵推理均匀摊到每一份材料上,换来无信息损失的高上限,代价是成本与时延随资料量刚性增长;快慢双系统通过一次高召回的低成本筛选把昂贵推理集中到少数高价值片段,换来吞吐与成本上的结构性改善,代价是引入了层间信息损失与更复杂的运维体系。
因此更合理的决策方式是:先测量资料规模与证据密度,再评估漏检的可承受程度,最后确认团队是否具备双层迭代能力。在资料稀疏、容错度高的规模化场景中,双系统分层通常是更可持续的选择;在资料有限、不容遗漏的高价值研究任务中,保留全量精读通道更为稳妥。多数成熟系统最终会落在两者之间的连续谱上——用快系统扩大视野,用慢系统保证深度,并用可观测的过滤轨迹让每一次取舍都可解释、可回溯、可调整。