简介:本文围绕Agent上下文超限治理,对比滑动窗口、摘要压缩与RAG分块三类方案的原理、差异、适用场景与落地边界,并结合上下文预算、成本、延迟、可追溯性给出选型与迁移建议,帮助开发者构建更稳健的问答与任务型Agent。
在问答型、任务型或工具调用型 Agent 系统中,一次请求进入模型的提示词通常并不是单一内容,而是由多个部分拼接而成。常见结构包括:系统提示词、历史对话、检索增强生成片段、工具调用结果,以及用户当前问题。随着对话轮次增加、知识文档变长、工具返回结果变大,最终拼接出来的上下文很容易超过模型可接收的最大长度。
一旦出现上下文超限,系统会面临几类典型问题:关键信息被截断、用户早期约束丢失、工具调用结果无法完整理解、模型输出质量下降,甚至请求直接失败。更麻烦的是,许多团队只停留在概念层,能说出滑动窗口、摘要、分块检索等名词,却很难回答一个真正关键的问题:这些方案到底如何组合,才能在实际业务中稳定落地?
本文以“上下文超限治理”为核心,对比三类常见方案:滑动窗口、摘要压缩、RAG 分块。文章不讨论具体厂商产品,而是从通用工程视角出发,分析它们的相同点、核心差异、适用场景、选型依据、迁移注意事项与常见误区,帮助开发者和架构师形成更清晰的上下文管理策略。
在 Agent 系统中,上下文并不是简单的“历史文本”,而是决定模型行为质量的关键输入。上下文超限带来的影响主要体现在以下几个方面。
当上下文过长时,系统通常会采取截断策略。如果缺少优先级设计,可能保留的是较早或较低价值的内容,而真正重要的系统指令、当前问题、关键工具结果却被丢弃。
例如,用户一开始要求“只输出 JSON 格式”,但在多轮对话后,如果该约束被截断,模型可能恢复为自然语言输出,导致下游解析失败。
上下文越长,单次请求消耗的输入 token 越多,调用成本越高,模型推理延迟也可能增加。对于高频问答系统,这一点会直接影响整体资源消耗。
并非所有历史内容都值得进入上下文。过长的对话记录、过细的文档片段、重复的工具结果,都会成为噪声,干扰模型对当前任务的判断。
如果上下文拼接逻辑散落在多个模块中,团队会很难判断某次回答质量下降是因为上下文丢失、摘要不准确,还是检索片段不相关。缺少统一治理时,问题定位成本会很高。
本文对比的三类方案,目标都指向同一个问题:在有限上下文预算内,尽可能保留对当前任务有价值的信息。
滑动窗口是最直接的上下文裁剪方式。它的核心思想是保留最近一段时间的内容,丢弃较早内容。
常见实现包括:
滑动窗口的优点是简单、低延迟、易于实现,适合短对话或实时交互场景。
摘要压缩的核心思想是:不直接保留全部历史原文,而是将历史内容压缩成摘要,用更短的文本表达上下文状态。
常见形式包括:
摘要压缩适合长对话、复杂任务和多轮状态维护,但它的风险在于摘要可能遗漏关键细节,甚至引入不准确信息。
RAG 分块并不只用于外部知识库,也可以用于历史对话、工具结果、长文档或企业资料。它的核心思想是:先将内容切分成块,再建立检索索引,当需要时按需检索相关片段注入上下文。
典型流程包括:
RAG 分块的优势是能够避免把所有历史或知识一次性塞进上下文,但需要额外建设分块策略、索引、检索、过滤和权限控制。
虽然实现方式不同,但滑动窗口、摘要和 RAG 分块在目标层面有高度一致性。
三者本质上都是在控制进入模型输入的信息总量。上下文预算通常需要考虑:
无论采用哪种方案,以下信息都应优先保留:
三类方案都会改变模型看到的信息。如果裁剪、摘要或检索策略设计不当,都可能造成回答质量下降。因此不能只考虑“是否超限”,还要考虑“保留下来的内容是否足够支撑任务”。
真正可落地的上下文治理,必须配套监控指标,例如:
滑动窗口、摘要和 RAG 分块虽然都用于上下文治理,但它们的实现逻辑、成本结构和适用边界差异明显。
滑动窗口保留“最近发生了什么”,摘要保留“整体已经完成了什么”,RAG 分块保留“当前问题可能相关的片段”。
三者的信息视角不同:
| 方案 | 信息保留逻辑 | 典型优势 | 典型风险 |
|---|---|---|---|
| 滑动窗口 | 保留最近内容 | 实时性强,实现简单 | 容易遗忘早期关键信息 |
| 摘要压缩 | 压缩历史为状态摘要 | 适合长对话和任务状态维护 | 摘要可能失真或遗漏 |
| RAG 分块 | 按相关性检索片段 | 精准按需调用,适合知识场景 | 检索不准则会引入噪声 |
从工程复杂度看,三者差异较大。
滑动窗口实现最简单。通常只需要维护最近 N 条消息、设置最大 token 数,并在拼接前进行裁剪。
摘要压缩需要引入摘要生成逻辑,可能涉及额外模型调用、异步任务、摘要版本管理、摘要失败重试等机制。
RAG 分块复杂度更高,通常包括文档处理、切块、向量化、关键词索引、元数据管理、检索过滤、结果重排、权限控制等。
因此,在资源有限或快速验证阶段,滑动窗口往往是优先选项;而在知识型、长文档型、企业搜索型场景中,RAG 分块几乎是必需能力。
滑动窗口通常延迟最低,因为它不需要额外生成摘要,也不需要执行检索。
摘要压缩可能增加延迟和成本,尤其是在每轮对话都实时生成摘要的情况下。如果摘要调用依赖额外模型请求,那么每次摘要都会增加系统开销。
RAG 分块会带来检索延迟,包括向量检索、关键词检索、结果过滤、重排等。但另一方面,它可以减少进入模型的冗余上下文,从而节省部分输入 token 成本。
因此,不能只看单一指标。高延迟不一定来自模型,也可能来自摘要生成或检索服务;低成本也不一定最优,关键要看任务成功率和信息准确率。
滑动窗口保留的是原始内容,理论上可追溯,但如果窗口滑走,原始内容可能不再进入上下文。
摘要压缩会丢失原文细节,除非摘要中保留引用编号、来源位置或关键信息索引,否则很难直接回溯到原始对话。
RAG 分块天然适合保留来源信息,例如文档编号、段落位置、对话轮次、工具调用标识等。这对审计、解释和权限控制非常重要。
滑动窗口更适合:
摘要压缩更适合:
RAG 分块更适合:
| 对比维度 | 滑动窗口 | 摘要压缩 | RAG 分块 |
|---|---|---|---|
| 核心目标 | 保留最近上下文 | 压缩历史状态 | 按需检索相关片段 |
| 实现复杂度 | 低 | 中 | 高 |
| 额外延迟 | 通常较低 | 取决于摘要调用方式 | 取决于检索与排序链路 |
| 成本结构 | 主要是上下文 token 成本 | 摘要生成成本、存储成本 | 索引、检索、存储、维护成本 |
| 信息完整性 | 容易丢失早期信息 | 依赖摘要质量 | 依赖分块与检索质量 |
| 可追溯性 | 原始窗口内可追溯 | 需要引用机制辅助 | 可通过来源字段增强 |
| 适合长对话 | 一般 | 较适合 | 适合,但需结合摘要 |
| 适合知识库 | 不适合单独使用 | 不适合单独使用 | 适合 |
| 适合工具结果 | 适合保留最近结果 | 适合压缩长期工具状态 | 适合归档与回溯 |
| 典型风险 | 遗忘、上下文过窄 | 摘要失真、遗漏关键约束 | 分块不当、召回不准 |
| 关键指标 | 窗口命中率、任务完成率 | 摘要保留率、错误摘要率 | 检索命中率、相关片段占比 |
如果系统只是简单问答,对话轮次少,知识库简单,工具调用不复杂,那么滑动窗口通常足够。
例如,用户连续询问几个产品参数,系统只需要保留最近几轮问题即可。此时引入摘要或 RAG 反而会增加复杂度。
建议策略:
任务型 Agent 通常需要维护任务状态,例如用户已经提供了哪些条件、哪些步骤已完成、哪些问题尚未解决。此时仅靠滑动窗口容易丢失早期状态。
可以采用:
这种方式更适合需要持续执行多个步骤的智能体场景。
如果系统需要回答企业文档、制度、产品手册或历史工单,RAG 分块通常是核心能力。
此时上下文不应包含全部文档,而应根据问题检索相关片段。系统需要关注:
在这种场景下,摘要更多用于压缩用户历史对话或工具调用记录,而不是替代知识检索。
当用户问题涉及长文档、复杂表格、代码仓库、日志分析或工具返回大量结构化数据时,单一方案通常不够。
可以考虑:
如果目标是工程落地,不建议简单地在滑动窗口、摘要、RAG 分块中三选一,而是应该构建分层上下文管理机制。
一个典型结构如下:
固定层:系统提示词
包含角色设定、输出格式、安全边界、权限约束。
当前层:当前问题
必须优先保留,不能因为上下文裁剪而丢失。
近景层:最近对话窗口
保留近期用户输入、助手回答、关键中间步骤。
状态层:任务摘要
记录目标、约束、已完成事项、待确认事项。
检索层:RAG 片段
从知识库、历史会话或工具结果库中按需召回相关块。
工具层:工具结果
只保留与当前任务相关的字段、状态码、摘要或关键输出。
具体比例需要结合业务调整,但可以给出一个通用思路:
这里的重点不是固定比例,而是必须建立优先级。优先级越高,越不能被轻易裁剪。
def build_prompt(session, query, budget):system_prompt = session.system_promptrecent_dialog = sliding_window(session.recent_messages,max_tokens=budget.recent_window)task_summary = session.summary if session.summary else ""retrieved_chunks = retrieve(query=query,top_k=budget.retrieval_top_k,filters=session.permissions)tool_result_summary = summarize_tool_results(session.tool_results,max_tokens=budget.tool_result)prompt_parts = [system_prompt,task_summary,recent_dialog,tool_result_summary,retrieved_chunks,query]prompt = assemble_prompt(prompt_parts)if token_count(prompt) > budget.total:prompt = degrade_prompt(prompt=prompt,rules=budget.degrade_rules)return prompt
其中,降级规则非常重要。例如,当上下文仍然超限时,可以依次减少检索片段数量、压缩工具结果、减少近期对话轮数,但不能随意丢弃系统提示词和当前问题。
不同团队在选型时,不能只看技术先进程度,而应结合自身业务特征。
如果业务以短问答为主,优先选择滑动窗口。实现成本低,链路短,更容易稳定上线。
重点评估:
如果用户会连续多轮提供信息,系统需要记住任务状态,建议采用“滑动窗口 + 摘要”。
重点评估:
如果系统需要访问大量文档、制度、历史记录或工具结果库,应优先考虑 RAG 分块。
重点评估:
如果是复杂任务型 Agent,建议采用组合策略:
这种方式实现复杂度更高,但更适合生产环境中的复杂任务。
如果系统已经存在历史对话拼接逻辑,准备引入滑动窗口、摘要或 RAG 分块,需要重点关注以下事项。
在改造前,应明确当前上下文由哪些部分组成,以及每部分平均占用多少 token。否则很难判断超限原因,也无法设置合理预算。
建议采集:
上下文治理不能只靠简单裁剪,必须定义优先级。常见优先级可以是:
当需要降级时,应从低优先级开始压缩。
如果摘要会持续更新,必须记录摘要生成时间、输入来源、摘要版本和失败状态。否则可能出现以下问题:
建议为每个会话或任务维护独立摘要状态。
在涉及用户数据、企业资料或多租户场景时,RAG 分块不能只考虑检索效果,还要考虑权限隔离。
需要确认:
如果权限控制缺失,RAG 可能带来越权访问风险。
分块不是越小越好,也不是越大越好。
建议根据内容类型调整:
上线前应准备评测集,至少覆盖:
评测指标可以包括:
真实系统中,摘要生成可能失败,检索服务可能超时,工具结果可能异常。如果没有降级策略,上下文治理本身也会成为不稳定来源。
常见降级策略包括:
许多团队能说清滑动窗口、摘要、RAG 分块的原理,但缺少真实落地细节,例如上下文预算如何分配、摘要失败如何降级、检索不命中如何处理。这会直接影响生产可用性。
RAG 适合检索,但不等于完整记忆。如果检索不到,系统不一定知道曾经发生过什么。对于持续任务,仍需要摘要或状态管理。
摘要压缩很方便,但摘要生成模型可能遗漏关键约束。例如用户提出“不要使用表格”“只输出代码”“必须引用原文”等要求,如果摘要没有保留,后续回答可能偏离预期。
窗口过小会导致多轮失忆。例如用户前面已经说明条件,后面追问细节时,如果窗口滑走,模型可能无法理解上下文。
工具返回结果往往包含大量字段。如果不做筛选和压缩,直接放入上下文,很容易造成超限。建议对工具结果设置字段白名单、最大长度和摘要机制。
历史对话、知识库、工具结果都可能包含敏感信息。上下文治理不仅是长度问题,也是安全问题。任何检索、摘要和日志记录都应考虑权限边界。
上下文超限并不是简单地“删掉一些历史内容”就能解决。它涉及上下文预算、信息优先级、任务状态维护、知识检索、工具结果压缩和降级策略等多个方面。
滑动窗口擅长保留近期连续性,适合短对话和实时交互;摘要压缩擅长维护长对话中的任务状态,适合复杂多轮任务;RAG 分块擅长按需检索相关片段,适合知识密集和长文档场景。
从工程落地角度看,三类方案并不是互斥关系。更稳健的做法是建立分层上下文机制:系统提示词和当前问题优先保留,最近对话使用滑动窗口,长期状态使用摘要,知识和历史资料使用 RAG 分块,工具结果经过筛选和压缩后再进入上下文。
如果面对生产环境,选型时应重点回答四个问题:任务是否需要长期状态、知识是否需要按需检索、延迟和成本预算是多少、权限和审计要求是否严格。只有把这些条件明确下来,才能真正判断应该优先采用滑动窗口、摘要压缩,还是 RAG 分块,以及如何将它们组合成可上线、可监控、可降级、可扩展的上下文治理体系。