简介:随着任务持续时间增长,Agent面临的最大瓶颈往往不是模型参数规模或工具数量,而是上下文腐化:指历史消息、工具结果、文件内容、搜索材料和中间推理不断累积后,真正有用的信息被噪声淹没,导致模型理解偏移、推理质量下降和执行稳定性变差。本文将系统解释上下文腐化的成因、表现、治理机制及工程实践,帮助读者构建更可靠的长时运行Agent。
Agent的最大瓶颈之一,是长时间运行过程中出现的“上下文腐化”(Context Rot)。
所谓上下文腐化,是指Agent在持续接收新信息的过程中,历史指令、工具返回值、文件内容、搜索结果、对话记录和中间推理不断累积,导致上下文中有效信息与无关信息混杂。即使总Token数量尚未达到模型的硬性上下文上限,模型也可能已经难以准确定位关键事实、区分当前目标与历史目标,最终出现理解偏差、重复操作、错误调用工具或偏离任务方向等问题。
从表面看,Agent仍然能够接收请求并生成回复;从实际效果看,它已经不再能够稳定地使用上下文中的信息。
因此,上下文腐化并不等同于“上下文窗口不够大”。上下文窗口限制描述的是容量上限,而上下文腐化描述的是信息质量、组织方式和可用性逐渐下降的过程。
可以将它概括为:
Agent能够保存的信息越来越多,但能够有效使用的信息越来越少。
传统问答通常是一次输入、一次输出,上下文长度相对可控。而Agent需要连续执行多个步骤,可能经历以下过程:
在这个过程中,每一步都有可能向上下文中加入新内容。尤其是工具调用,往往会返回大段日志、结构化数据、网页文本、错误堆栈或文件内容。如果这些材料全部原样保留,短任务尚可承受,长任务则会迅速出现信息拥堵。
上下文腐化通常会带来以下影响。
模型可能需要关注用户的几个核心约束,但上下文中同时存在大量已经完成的步骤、重复日志和无关工具输出。关键内容虽然仍在,但其相对显著性下降,模型更容易遗漏限制条件。
Agent早期做出的判断可能基于当时的信息。随着任务推进,新的事实、异常和用户补充要求不断加入,早期结论可能已经不再适用。如果系统只是持续追加消息,而没有重新整理状态,模型可能继续沿用过时判断。
工具返回的信息不一定都是模型当前需要的内容。完整日志、原始数据和重复结果进入上下文后,可能让模型把“过程材料”误认为“最终事实”,甚至根据旧结果进行决策。
短任务中的一次误判可能很快被发现;长任务中的早期误判则可能被后续步骤不断引用,形成错误累积。由于模型看到的上下文越来越复杂,定位错误源头也变得更加困难。
上下文越长,单次模型调用通常需要处理更多输入内容,可能增加推理延迟和调用成本。同时,过长上下文会使系统更依赖压缩、截断或复杂的检索逻辑,增加工程维护难度。
要解决上下文腐化,不能只依赖更长的上下文窗口,也不能只修改一段系统提示词。更准确的理解方式,是把Agent拆分为两个部分:
Harness可以理解为模型外部的运行框架。它不负责替代模型推理,而是负责对信息进行筛选、整理和调度。
一次典型运行流程可以表示为:
用户任务↓任务状态与历史信息↓Harness筛选、压缩、检索↓模型生成下一步动作↓工具执行或回复用户↓结果保存、更新状态↓进入下一轮
关键点在于:模型不应当在每一轮都看到所有历史信息。Harness需要根据当前任务状态,决定哪些内容应该进入活跃上下文,哪些内容应该被保存到外部存储,哪些内容应该被压缩,哪些内容需要在特定时机重新加载。
因此,上下文工程的本质不是“把更多内容塞给模型”,而是:
在每一轮模型调用前,构造一个与当前任务最相关、最清晰、最可验证的上下文。
当工具返回大量内容时,最直接的做法不是把完整结果继续传给模型,而是将原始结果保存到文件、数据库或其他用户可控的存储中,仅向模型提供摘要、索引、统计信息或有限预览。
例如,一次数据查询返回数万条记录,模型当前可能只需要知道:
完整结果可以保留,但不必全部进入当前上下文。
这种方式有三个好处:
卸载并不意味着删除信息,而是把信息从“活跃上下文”转移到“外部工作区”。
对于已经完成的阶段,逐条保留全部对话和工具调用通常没有必要。Harness可以将早期历史整理为结构化摘要,例如:
高质量摘要不能只是简单删减文字,而应当保留可影响后续决策的信息。
可以采用如下状态结构:
任务目标:当前阶段:已确认事实:关键约束:已完成操作:失败尝试:待处理事项:相关文件或结果位置:
摘要的价值在于,它把“原始过程记录”转换为“可执行状态”。模型不需要重新阅读全部历史,也能快速理解任务进展。
不过,摘要也存在信息损失风险。重要原文、证据和异常细节不应只保留在摘要中,应该同时保存原始记录,并允许在需要时回溯。
复杂Agent通常需要处理多种任务,每种任务都有自己的操作说明、格式要求和安全边界。如果所有专业规则在启动时一次性加载,必然会增加上下文负担。
更合理的方式是将专业知识拆分为可按需加载的Skills。只有当任务进入相应领域时,系统才加载对应说明。
例如,文档处理、数据分析、代码审查、故障排查和报告生成可以分别拥有独立的操作规范。当前任务只加载相关部分,其他内容留在外部知识库或文件系统中。
按需加载应当满足以下原则:
Skills解决的是“专业规则过多”的问题。它不是简单的提示词集合,而是面向任务阶段的能力模块。
当一个总任务包含多个相对独立、过程复杂的子任务时,可以将部分工作交给独立Subagent处理。
例如,一个总任务可能包括资料收集、数据清洗、规则检查和结果汇总。若所有过程都由同一个主Agent执行,主上下文会混入大量中间细节。更好的方式是让独立Subagent在局部上下文中完成子任务,最终只向主Agent返回结论、证据和必要引用。
这种隔离方式可以减少主上下文污染,但需要明确边界:
Subagent的作用不是单纯增加并发,而是建立上下文隔离层,让不同任务的中间过程互不干扰。
有些信息不属于当前任务,但未来仍然可能有价值,例如用户长期偏好、稳定的业务规则、经确认的术语解释、项目约定和历史决策。
这类信息应被保存为长期记忆,而不是永久占用当前会话上下文。
长期记忆应当具备:
需要注意,长期记忆不应成为“所有历史信息的垃圾场”。如果未经筛选地保存每一次对话,未来检索时同样会产生噪声,甚至引入过时或错误信息。
治理上下文腐化,通常有两个方向。
这类方法强调入口控制,常见措施包括:
它解决的是“不要让无关内容进来”。
这类方法强调存量治理,常见措施包括:
它解决的是“已经进来的内容如何继续可用”。
实际系统通常需要两条路线结合。单纯依赖入口控制,历史仍会不断膨胀;单纯依赖事后压缩,则可能在信息进入后已经造成干扰。
例如持续数小时甚至更长时间的数据处理、报告编制、代码分析或资料整理。任务时间越长,状态管理越重要。
当Agent需要频繁调用搜索、数据库、文件、计算或业务接口时,工具输出很容易成为上下文污染源。
这类任务通常包含明确状态、权限和阶段边界,适合使用结构化摘要、长期记忆和任务状态管理。
如果用户希望下一次继续上一次未完成的任务,就不能只依赖会话历史,而应当保存可恢复的任务状态和必要资料。
在运维、数据处理、知识检索和流程自动化等场景中,错误上下文可能导致错误决策,因此需要对信息来源、版本和有效期进行管理。
上下文窗口不足是容量问题,通常表现为输入被截断或请求无法提交。上下文腐化则可能在容量尚未达到上限时发生,核心是信息组织质量下降。
模型幻觉是生成了缺乏依据或不真实的内容。上下文腐化可能诱发幻觉,但两者不是同一问题。上下文混乱会降低模型找到正确依据的概率,而幻觉还与模型能力、提示方式和验证机制有关。
向量检索主要解决从大量外部资料中找到相关内容的问题。上下文工程关注的是更广泛的运行时信息管理,包括历史压缩、工具输出、任务状态、子任务隔离和长期记忆。
长期记忆是上下文工程的一种组成机制,负责保存跨会话复用的信息;上下文工程则负责决定信息何时保存、何时加载、如何压缩以及如何控制活跃上下文。
第一,摘要必须保留决策所需事实,不能只追求字数减少。
第二,外部存储需要记录来源、时间、版本和权限,避免模型读取过时数据。
第三,工具返回值应区分原始结果、摘要结果和可检索索引。
第四,长期记忆必须支持删除、修正和失效标记。
第五,Subagent的输出要经过格式校验,不能默认其结论一定正确。
第六,系统应当记录上下文裁剪、摘要生成和记忆写入过程,便于问题追踪。
第七,涉及敏感信息时,应实施最小权限、脱敏和访问审计。
第八,需要通过长任务测试验证系统是否会重复执行、遗忘约束或引用过期结果。
Agent目前最值得优先解决的瓶颈,不是单纯增加模型规模,也不是无限扩展工具数量,而是如何管理持续增长的上下文。
上下文腐化的本质,是信息积累速度超过了模型有效理解和使用信息的能力。可靠的解决方案需要由模型外围的Harness承担信息治理职责,通过卸载、摘要、按需加载Skills、Subagent隔离和长期记忆等机制,将“全部历史”转化为“当前真正需要的状态”。
因此,一个成熟的Agent系统不应让模型被动承受所有历史,而应主动构造每一轮所需的最小有效上下文。只有把信息保存、筛选、压缩、检索和恢复建立成完整工程体系,Agent才能在长任务、多工具和跨会话场景中保持稳定、准确与可维护。