简介:在Agent问答系统的开发中,当对话历史、检索片段与工具结果叠加导致上下文Token超限时,滑动窗口、摘要压缩、RAG分块是三类最常见的处理思路。本文系统对比三者的原理差异、优缺点、适用场景与选型依据,并结合真实落地经验说明如何组合使用,帮助你在技术方案设计与面试表达中讲清“为什么这么做”。
一个典型的问答Agent,单次请求的Prompt通常由以下几部分拼接而成:
system prompt + 历史对话 + RAG检索片段 + 工具调用结果 + 当前问题
随着对话轮数增加、检索片段增多、工具返回内容变大,总Token数很容易逼近甚至超过模型的上下文上限。此时系统要么直接报错,要么因截断不当丢失关键信息,导致回答质量骤降。
面对超限问题,业界常见三类方案:滑动窗口、摘要压缩、RAG分块。很多开发者的第一反应是“三个都讲一遍”,但在真实工程中,三者解决的问题环节不同、成本不同、副作用也不同。选错方案不仅浪费开发资源,还可能引入新的质量问题。本文就从对比视角,把这三类方案的差异与选择逻辑讲清楚。
滑动窗口:只保留最近N轮对话或最近M个Token的上下文,超出部分直接丢弃。本质是一种“截断式”策略。
摘要压缩:当历史对话接近阈值时,用模型或规则将旧对话压缩成一段摘要,替换原始内容。本质是一种“有损转存”策略。
RAG分块:不把全部知识塞进上下文,而是将文档切成合适的chunk,建立索引,按需检索最相关的少量片段注入Prompt。本质是一种“按需供给”策略。
三者在目标层面是一致的:
这是最关键的差异:如果你超限的病因是工具调用把整页网页原样塞进Prompt,前两种方案根本无效,该做的是对工具返回结果做二次抽取和长度控制。
滑动窗口的风险是“忘了前面的约定”;摘要压缩的风险是“记了个大概但记错了细节”;RAG分块的风险是“该找的没找到”。三种失败模式在排查时的表现完全不同,这也是落地时必须建立针对性评估的原因。
| 维度 | 滑动窗口 | 摘要压缩 | RAG分块 |
|---|---|---|---|
| 作用对象 | 历史对话 | 历史对话 | 知识库注入 |
| 实现难度 | 低 | 中 | 高 |
| 额外延迟 | 几乎无 | 一次模型调用 | 检索链路延迟 |
| 信息损失 | 硬截断,不可恢复 | 细节易失真 | 依赖召回质量 |
| 长程记忆支持 | 差 | 较好 | 好(知识层面) |
| 运维复杂度 | 低 | 中 | 高(索引维护、切分调优) |
| 成本结构 | 几乎为零 | 摘要调用成本 | 向量化与存储成本 |
| 典型风险 | 丢失早期约束 | 摘要遗漏关键信息 | 召回失败或chunk过大 |
选型前必须先做病因诊断:统计历史对话、检索片段、工具结果各占多少Token,超限发生在哪一环就先处理哪一环。团队运维能力有限时,优先选择实现简单、风险可控的方案;对记忆质量要求高时,再逐步引入摘要与更精细的检索策略。
切换方案时需注意:摘要压缩会改变历史语义表达,需回归测试多轮一致性;RAG切分参数调整后需重建索引并重跑评估集;所有方案都应设置Token阈值预警,走在报错前面。若使用百度智能云等平台提供的大模型服务,可直接利用其上下文长度配置与Token统计能力辅助监控,降低自建成本。
滑动窗口、摘要压缩、RAG分块分别对应上下文不同环节的超限问题:截断解决“太多”,摘要解决“要记”,分块解决“按需取”。真正的工程能力不在于罗列方法,而在于先拆开Prompt构成、定位超限环节,再匹配方案并建立监控与评估闭环。理解三者差异与组合方式,才是从“背答案”走向“真落地”的关键一步。