上下文超限:滑动窗口、摘要与分块RAG怎么选

作者:公子世无双2026.11.16 10:53浏览量:0

简介:本文围绕Agent上下文超限治理,对比滑动窗口、摘要压缩与RAG分块三类方案的原理、差异、适用场景与落地边界,并结合上下文预算、成本、延迟、可追溯性给出选型与迁移建议,帮助开发者构建更稳健的问答与任务型Agent。

rag-">上下文超限:滑动窗口、摘要与分块RAG怎么选

在问答型、任务型或工具调用型 Agent 系统中,一次请求进入模型的提示词通常并不是单一内容,而是由多个部分拼接而成。常见结构包括:系统提示词、历史对话、检索增强生成片段、工具调用结果,以及用户当前问题。随着对话轮次增加、知识文档变长、工具返回结果变大,最终拼接出来的上下文很容易超过模型可接收的最大长度。

一旦出现上下文超限,系统会面临几类典型问题:关键信息被截断、用户早期约束丢失、工具调用结果无法完整理解、模型输出质量下降,甚至请求直接失败。更麻烦的是,许多团队只停留在概念层,能说出滑动窗口、摘要、分块检索等名词,却很难回答一个真正关键的问题:这些方案到底如何组合,才能在实际业务中稳定落地?

本文以“上下文超限治理”为核心,对比三类常见方案:滑动窗口、摘要压缩、RAG 分块。文章不讨论具体厂商产品,而是从通用工程视角出发,分析它们的相同点、核心差异、适用场景、选型依据、迁移注意事项与常见误区,帮助开发者和架构师形成更清晰的上下文管理策略。


一、为什么上下文超限必须治理

在 Agent 系统中,上下文并不是简单的“历史文本”,而是决定模型行为质量的关键输入。上下文超限带来的影响主要体现在以下几个方面。

1. 关键信息丢失

当上下文过长时,系统通常会采取截断策略。如果缺少优先级设计,可能保留的是较早或较低价值的内容,而真正重要的系统指令、当前问题、关键工具结果却被丢弃。

例如,用户一开始要求“只输出 JSON 格式”,但在多轮对话后,如果该约束被截断,模型可能恢复为自然语言输出,导致下游解析失败。

2. 成本与延迟上升

上下文越长,单次请求消耗的输入 token 越多,调用成本越高,模型推理延迟也可能增加。对于高频问答系统,这一点会直接影响整体资源消耗。

3. 噪声干扰模型判断

并非所有历史内容都值得进入上下文。过长的对话记录、过细的文档片段、重复的工具结果,都会成为噪声,干扰模型对当前任务的判断。

4. 难以评估与复现

如果上下文拼接逻辑散落在多个模块中,团队会很难判断某次回答质量下降是因为上下文丢失、摘要不准确,还是检索片段不相关。缺少统一治理时,问题定位成本会很高。


二、对比对象定义:滑动窗口、摘要与 RAG 分块

本文对比的三类方案,目标都指向同一个问题:在有限上下文预算内,尽可能保留对当前任务有价值的信息。

1. 滑动窗口

滑动窗口是最直接的上下文裁剪方式。它的核心思想是保留最近一段时间的内容,丢弃较早内容。

常见实现包括:

  • 按对话轮次保留最近 N 轮;
  • 按 token 数保留最近 K 个 token;
  • 按优先级保留系统提示词、当前问题,再裁剪中间历史;
  • 对工具调用结果做长度限制,只保留关键字段。

滑动窗口的优点是简单、低延迟、易于实现,适合短对话或实时交互场景。

2. 摘要压缩

摘要压缩的核心思想是:不直接保留全部历史原文,而是将历史内容压缩成摘要,用更短的文本表达上下文状态。

常见形式包括:

  • 滚动摘要:每轮对话后更新摘要;
  • 阶段性摘要:每隔若干轮生成一次摘要;
  • 要点摘要:抽取用户目标、约束、已完成事项、待确认事项;
  • 状态摘要:维护任务状态,例如用户已提供的信息、已执行过的步骤、未解决的问题。

摘要压缩适合长对话、复杂任务和多轮状态维护,但它的风险在于摘要可能遗漏关键细节,甚至引入不准确信息。

3. RAG 分块

RAG 分块并不只用于外部知识库,也可以用于历史对话、工具结果、长文档或企业资料。它的核心思想是:先将内容切分成块,再建立检索索引,当需要时按需检索相关片段注入上下文。

典型流程包括:

  • 将文档、对话记录或工具结果切分为块;
  • 为每个块生成关键词、语义向量或元数据;
  • 根据当前问题检索最相关块;
  • 将检索结果拼入上下文。

RAG 分块的优势是能够避免把所有历史或知识一次性塞进上下文,但需要额外建设分块策略、索引、检索、过滤和权限控制。


三、相同点:三种方案并不是互相替代

虽然实现方式不同,但滑动窗口、摘要和 RAG 分块在目标层面有高度一致性。

1. 都服务于上下文预算管理

三者本质上都是在控制进入模型输入的信息总量。上下文预算通常需要考虑:

  • 模型最大输入长度;
  • 模型输出预留空间;
  • 系统提示词占用;
  • 工具结果和检索片段占用;
  • 安全与格式控制所需的余量。

2. 都需要保护关键信息

无论采用哪种方案,以下信息都应优先保留:

  • 系统提示词;
  • 当前用户问题;
  • 当前任务的硬性约束;
  • 关键工具调用结果;
  • 用户最新指令;
  • 权限与安全相关字段。

3. 都会影响响应质量

三类方案都会改变模型看到的信息。如果裁剪、摘要或检索策略设计不当,都可能造成回答质量下降。因此不能只考虑“是否超限”,还要考虑“保留下来的内容是否足够支撑任务”。

4. 都需要评测与监控

真正可落地的上下文治理,必须配套监控指标,例如:

  • 上下文 token 数;
  • 截断次数;
  • 摘要生成成功率;
  • 检索命中率;
  • 工具结果保留率;
  • 用户任务完成率;
  • 回答引用可追溯率。

四、核心差异分析

滑动窗口、摘要和 RAG 分块虽然都用于上下文治理,但它们的实现逻辑、成本结构和适用边界差异明显。

1. 信息保留方式不同

滑动窗口保留“最近发生了什么”,摘要保留“整体已经完成了什么”,RAG 分块保留“当前问题可能相关的片段”。

三者的信息视角不同:

方案 信息保留逻辑 典型优势 典型风险
滑动窗口 保留最近内容 实时性强,实现简单 容易遗忘早期关键信息
摘要压缩 压缩历史为状态摘要 适合长对话和任务状态维护 摘要可能失真或遗漏
RAG 分块 按相关性检索片段 精准按需调用,适合知识场景 检索不准则会引入噪声

2. 实现复杂度不同

从工程复杂度看,三者差异较大。

滑动窗口实现最简单。通常只需要维护最近 N 条消息、设置最大 token 数,并在拼接前进行裁剪。

摘要压缩需要引入摘要生成逻辑,可能涉及额外模型调用、异步任务、摘要版本管理、摘要失败重试等机制。

RAG 分块复杂度更高,通常包括文档处理、切块、向量化、关键词索引、元数据管理、检索过滤、结果重排、权限控制等。

因此,在资源有限或快速验证阶段,滑动窗口往往是优先选项;而在知识型、长文档型、企业搜索型场景中,RAG 分块几乎是必需能力。

3. 延迟与成本表现不同

滑动窗口通常延迟最低,因为它不需要额外生成摘要,也不需要执行检索。

摘要压缩可能增加延迟和成本,尤其是在每轮对话都实时生成摘要的情况下。如果摘要调用依赖额外模型请求,那么每次摘要都会增加系统开销。

RAG 分块会带来检索延迟,包括向量检索、关键词检索、结果过滤、重排等。但另一方面,它可以减少进入模型的冗余上下文,从而节省部分输入 token 成本。

因此,不能只看单一指标。高延迟不一定来自模型,也可能来自摘要生成或检索服务;低成本也不一定最优,关键要看任务成功率和信息准确率。

4. 可追溯性不同

滑动窗口保留的是原始内容,理论上可追溯,但如果窗口滑走,原始内容可能不再进入上下文。

摘要压缩会丢失原文细节,除非摘要中保留引用编号、来源位置或关键信息索引,否则很难直接回溯到原始对话。

RAG 分块天然适合保留来源信息,例如文档编号、段落位置、对话轮次、工具调用标识等。这对审计、解释和权限控制非常重要。

5. 适用场景不同

滑动窗口更适合:

  • 短轮次问答;
  • 实时指令交互;
  • 工具调用后立即返回结果;
  • 不需要长期记忆的任务;
  • 对延迟敏感的场景。

摘要压缩更适合:

  • 多轮长对话;
  • 任务型 Agent;
  • 需要维护用户偏好和任务状态的场景;
  • 历史原文较长但必须保留全局状态的场景。

RAG 分块更适合:

  • 企业知识问答;
  • 长文档理解;
  • 历史会话库检索;
  • 工具结果归档与复用;
  • 多租户、多用户、多资料源的上下文管理。

五、结构化对比表

对比维度 滑动窗口 摘要压缩 RAG 分块
核心目标 保留最近上下文 压缩历史状态 按需检索相关片段
实现复杂度 低 中 高
额外延迟 通常较低 取决于摘要调用方式 取决于检索与排序链路
成本结构 主要是上下文 token 成本 摘要生成成本、存储成本 索引、检索、存储、维护成本
信息完整性 容易丢失早期信息 依赖摘要质量 依赖分块与检索质量
可追溯性 原始窗口内可追溯 需要引用机制辅助 可通过来源字段增强
适合长对话 一般 较适合 适合,但需结合摘要
适合知识库 不适合单独使用 不适合单独使用 适合
适合工具结果 适合保留最近结果 适合压缩长期工具状态 适合归档与回溯
典型风险 遗忘、上下文过窄 摘要失真、遗漏关键约束 分块不当、召回不准
关键指标 窗口命中率、任务完成率 摘要保留率、错误摘要率 检索命中率、相关片段占比

六、典型场景选择

1. 简单问答场景:优先滑动窗口

如果系统只是简单问答,对话轮次少,知识库简单,工具调用不复杂,那么滑动窗口通常足够。

例如,用户连续询问几个产品参数,系统只需要保留最近几轮问题即可。此时引入摘要或 RAG 反而会增加复杂度。

建议策略:

  • 保留系统提示词;
  • 保留当前问题;
  • 保留最近 3 到 5 轮对话;
  • 对工具结果限制字段长度;
  • 设置 token 上限和截断告警。

agent-">2. 多轮任务型 Agent:滑动窗口加摘要

任务型 Agent 通常需要维护任务状态,例如用户已经提供了哪些条件、哪些步骤已完成、哪些问题尚未解决。此时仅靠滑动窗口容易丢失早期状态。

可以采用:

  • 最近对话使用滑动窗口;
  • 早期对话压缩为任务摘要;
  • 摘要中明确记录目标、约束、已完成步骤、待办事项;
  • 关键工具结果保留摘要或结构化状态。

这种方式更适合需要持续执行多个步骤的智能体场景。

3. 企业知识问答:RAG 分块为主,摘要辅助

如果系统需要回答企业文档、制度、产品手册或历史工单,RAG 分块通常是核心能力。

此时上下文不应包含全部文档,而应根据问题检索相关片段。系统需要关注:

  • 分块粒度是否适合业务语义;
  • 检索是否支持关键词与语义结合;
  • 是否能按权限过滤;
  • 是否能返回来源信息;
  • 是否能避免不同用户或租户之间的数据越权。

在这种场景下,摘要更多用于压缩用户历史对话或工具调用记录,而不是替代知识检索。

4. 长文档与复杂工具结果:混合方案更稳妥

当用户问题涉及长文档、复杂表格、代码仓库、日志分析或工具返回大量结构化数据时,单一方案通常不够。

可以考虑:

  • 对长文档进行 RAG 分块;
  • 对工具结果先做字段筛选和摘要;
  • 对多轮对话使用滑动窗口;
  • 对整体任务使用摘要维护状态;
  • 对最终答案要求引用来源或数据依据。

七、真正可落地的上下文架构

如果目标是工程落地,不建议简单地在滑动窗口、摘要、RAG 分块中三选一,而是应该构建分层上下文管理机制。

一个典型结构如下:

  1. 固定层:系统提示词
    包含角色设定、输出格式、安全边界、权限约束。

  2. 当前层:当前问题
    必须优先保留,不能因为上下文裁剪而丢失。

  3. 近景层:最近对话窗口
    保留近期用户输入、助手回答、关键中间步骤。

  4. 状态层:任务摘要
    记录目标、约束、已完成事项、待确认事项。

  5. 检索层:RAG 片段
    从知识库、历史会话或工具结果库中按需召回相关块。

  6. 工具层:工具结果
    只保留与当前任务相关的字段、状态码、摘要或关键输出。

上下文预算分配示例

具体比例需要结合业务调整,但可以给出一个通用思路:

  • 系统提示词:约 10% 到 15%;
  • 当前问题与近景对话:约 40% 到 50%;
  • 任务摘要:约 10% 到 20%;
  • RAG 检索片段:约 20% 到 35%;
  • 预留输出与安全余量:根据模型能力动态调整。

这里的重点不是固定比例,而是必须建立优先级。优先级越高,越不能被轻易裁剪。

示意性伪代码

  1. def build_prompt(session, query, budget):
  2. system_prompt = session.system_prompt
  3. recent_dialog = sliding_window(
  4. session.recent_messages,
  5. max_tokens=budget.recent_window
  6. )
  7. task_summary = session.summary if session.summary else ""
  8. retrieved_chunks = retrieve(
  9. query=query,
  10. top_k=budget.retrieval_top_k,
  11. filters=session.permissions
  12. )
  13. tool_result_summary = summarize_tool_results(
  14. session.tool_results,
  15. max_tokens=budget.tool_result
  16. )
  17. prompt_parts = [
  18. system_prompt,
  19. task_summary,
  20. recent_dialog,
  21. tool_result_summary,
  22. retrieved_chunks,
  23. query
  24. ]
  25. prompt = assemble_prompt(prompt_parts)
  26. if token_count(prompt) > budget.total:
  27. prompt = degrade_prompt(
  28. prompt=prompt,
  29. rules=budget.degrade_rules
  30. )
  31. return prompt

其中,降级规则非常重要。例如,当上下文仍然超限时,可以依次减少检索片段数量、压缩工具结果、减少近期对话轮数,但不能随意丢弃系统提示词和当前问题。


八、选型建议

不同团队在选型时,不能只看技术先进程度,而应结合自身业务特征。

1. 短对话、低复杂度场景

如果业务以短问答为主,优先选择滑动窗口。实现成本低,链路短,更容易稳定上线。

重点评估:

  • 最大上下文长度是否足够;
  • 多轮对话是否需要更早的历史;
  • 截断后是否影响用户理解。

2. 长对话、任务状态复杂场景

如果用户会连续多轮提供信息,系统需要记住任务状态,建议采用“滑动窗口 + 摘要”。

重点评估:

  • 摘要是否稳定生成;
  • 摘要是否遗漏关键约束;
  • 是否需要区分不同任务版本;
  • 摘要失败后如何降级。

3. 知识密集型场景

如果系统需要访问大量文档、制度、历史记录或工具结果库,应优先考虑 RAG 分块。

重点评估:

  • 分块粒度是否合理;
  • 检索召回率是否满足要求;
  • 权限过滤是否严格;
  • 是否能返回可解释来源。

4. 复杂 Agent 场景

如果是复杂任务型 Agent,建议采用组合策略:

  • 滑动窗口保证近期连续性;
  • 摘要维护长期任务状态;
  • RAG 分块提供知识或历史检索;
  • 工具结果经过筛选和摘要后再进入上下文。

这种方式实现复杂度更高,但更适合生产环境中的复杂任务。


九、迁移与改造注意事项

如果系统已经存在历史对话拼接逻辑,准备引入滑动窗口、摘要或 RAG 分块,需要重点关注以下事项。

1. 先梳理现有上下文结构

在改造前,应明确当前上下文由哪些部分组成,以及每部分平均占用多少 token。否则很难判断超限原因,也无法设置合理预算。

建议采集:

  • 单请求平均上下文长度;
  • 最大上下文长度;
  • 不同请求类型的上下文分布;
  • 工具结果长度分布;
  • 检索片段长度分布。

2. 定义上下文优先级

上下文治理不能只靠简单裁剪,必须定义优先级。常见优先级可以是:

  1. 系统提示词;
  2. 当前问题;
  3. 安全约束;
  4. 关键工具结果;
  5. 最近对话;
  6. 任务摘要;
  7. 一般检索片段;
  8. 历史扩展内容。

当需要降级时,应从低优先级开始压缩。

3. 摘要机制需要版本管理

如果摘要会持续更新,必须记录摘要生成时间、输入来源、摘要版本和失败状态。否则可能出现以下问题:

  • 摘要基于旧对话生成,导致信息过期;
  • 摘要失败后系统仍使用旧摘要;
  • 不同任务混用同一摘要,造成上下文污染。

建议为每个会话或任务维护独立摘要状态。

4. RAG 分块需要关注权限与隔离

在涉及用户数据、企业资料或多租户场景时,RAG 分块不能只考虑检索效果,还要考虑权限隔离。

需要确认:

  • 用户只能检索到其有权访问的块;
  • 检索请求中是否包含租户标识或用户标识;
  • 元数据是否能支持权限过滤;
  • 日志中是否记录了检索来源;
  • 是否支持审计和追踪。

如果权限控制缺失,RAG 可能带来越权访问风险。

5. 分块粒度要适配任务

分块不是越小越好,也不是越大越好。

  • 块太小,语义可能不完整,检索结果难以理解;
  • 块太大,会重新引入上下文过长和噪声问题。

建议根据内容类型调整:

  • 文档问答:按标题、段落或语义边界切分;
  • 对话历史:按会话主题、任务阶段或时间窗口切分;
  • 工具结果:按调用 ID、对象类型和关键字段切分;
  • 结构化数据:按表、行、字段组或业务实体切分。

6. 建立评测集

上线前应准备评测集,至少覆盖:

  • 短对话场景;
  • 长对话场景;
  • 多轮任务场景;
  • 知识检索场景;
  • 工具调用结果复杂场景;
  • 权限敏感场景。

评测指标可以包括:

  • 任务完成率;
  • 关键信息召回率;
  • 上下文截断率;
  • 平均 token 消耗;
  • 平均延迟;
  • 摘要准确率;
  • 检索命中率;
  • 用户追问率。

7. 必须准备降级策略

真实系统中,摘要生成可能失败,检索服务可能超时,工具结果可能异常。如果没有降级策略,上下文治理本身也会成为不稳定来源。

常见降级策略包括:

  • 摘要失败时回退到滑动窗口;
  • 检索超时则跳过检索片段;
  • 工具结果过长时只保留状态字段;
  • 上下文仍超限时按顺序裁剪低优先级内容;
  • 必要时返回“信息不足”或触发用户补充。

十、常见误区

1. 只讲概念,不谈落地

许多团队能说清滑动窗口、摘要、RAG 分块的原理,但缺少真实落地细节,例如上下文预算如何分配、摘要失败如何降级、检索不命中如何处理。这会直接影响生产可用性。

2. 把 RAG 当成唯一记忆

RAG 适合检索,但不等于完整记忆。如果检索不到,系统不一定知道曾经发生过什么。对于持续任务,仍需要摘要或状态管理。

3. 过度依赖摘要

摘要压缩很方便,但摘要生成模型可能遗漏关键约束。例如用户提出“不要使用表格”“只输出代码”“必须引用原文”等要求,如果摘要没有保留,后续回答可能偏离预期。

4. 滑动窗口太小

窗口过小会导致多轮失忆。例如用户前面已经说明条件,后面追问细节时,如果窗口滑走,模型可能无法理解上下文。

5. 工具结果原样注入

工具返回结果往往包含大量字段。如果不做筛选和压缩,直接放入上下文,很容易造成超限。建议对工具结果设置字段白名单、最大长度和摘要机制。

6. 忽略权限与安全

历史对话、知识库、工具结果都可能包含敏感信息。上下文治理不仅是长度问题,也是安全问题。任何检索、摘要和日志记录都应考虑权限边界。


十一、总结

上下文超限并不是简单地“删掉一些历史内容”就能解决。它涉及上下文预算、信息优先级、任务状态维护、知识检索、工具结果压缩和降级策略等多个方面。

滑动窗口擅长保留近期连续性,适合短对话和实时交互;摘要压缩擅长维护长对话中的任务状态,适合复杂多轮任务;RAG 分块擅长按需检索相关片段,适合知识密集和长文档场景。

从工程落地角度看,三类方案并不是互斥关系。更稳健的做法是建立分层上下文机制:系统提示词和当前问题优先保留,最近对话使用滑动窗口,长期状态使用摘要,知识和历史资料使用 RAG 分块,工具结果经过筛选和压缩后再进入上下文。

如果面对生产环境,选型时应重点回答四个问题:任务是否需要长期状态、知识是否需要按需检索、延迟和成本预算是多少、权限和审计要求是否严格。只有把这些条件明确下来,才能真正判断应该优先采用滑动窗口、摘要压缩,还是 RAG 分块,以及如何将它们组合成可上线、可监控、可降级、可扩展的上下文治理体系。