简介:AI Agent的回答并非来自单一渠道,而是由模型参数记忆、调用期上下文与外部工具检索共同决定。本文从信息获取角度拆解Agent的核心原理,说明上下文窗口、记忆压缩、预置上下文与智能体取数机制如何影响回答质量、token消耗与任务可靠性,帮助开发者更准确地判断Agent在什么场景下值得信任、何时需要补充上下文。
AI Agent 给出答案时,很多人会本能地认为它“什么都知道”。但更准确的理解是:Agent 知道的东西,只有两个根本来源。
第一,是模型在训练阶段已经内化进参数里的知识;第二,是当前这次调用中,被放进上下文窗口里的信息。前者属于“参数记忆”,后者属于“工作记忆”。很多关于 Agent 准确性、稳定性、成本与可信度的困惑,本质上都来自对这两类知识来源的混淆。
如果只把 Agent 当作一个“更聪明的搜索引擎”,很容易高估它的实时性;如果完全依赖模型训练时学到的内容,又容易忽略信息可能已经过时。理解这两个来源以及它们如何被调度,是使用好 Agent 的第一步。
参数记忆指的是,大模型在训练过程中从海量文本里学习到的知识。这些知识并没有被显式地存放在某个数据库里,而是以权重分布的方式隐含在神经网络参数中。
当用户提出一个问题,模型不是去某个固定位置检索答案,而是根据输入内容,通过前向计算在参数空间中激活最相关的模式,再生成输出。这种方式有它的优势:模型能够处理大量模糊、开放式问题,也具备一定的推理和泛化能力。
但参数记忆也有明显限制:
知识存在截止时间
模型只“知道”训练数据覆盖范围内的信息。训练语料越旧,它对近期事件、新政策、新工具、新版本的理解就越弱。
知识无法自动更新
除非进行新的训练或微调,否则模型本身不会因为外界变化而自动修正原有知识。
知识粒度不均
高频、公开、结构化的知识通常掌握得更好;冷门、私有、高度动态的信息则可能严重缺失。
容易产生“看似合理但错误”的回答
当参数记忆中缺乏相关信息时,模型可能会基于通用语言模式生成看似合理、实则错误的内容。这不是它“想骗人”,而是参数记忆不足时的一种自然表现。
因此,在涉及实时数据、企业内部信息、个人文档或高度专业内容时,仅靠参数记忆往往不够。
参数记忆解决的是“模型本来会什么”,而上下文解决的则是“这一次它需要知道什么”。
所谓上下文,指的是在一次模型调用中,所有随请求一起传入的文本内容。它可以包括:
上下文的核心价值在于:它不需要重新训练模型,就能临时扩展模型当前可用的信息范围。模型在生成回答时,会同时参考参数记忆和上下文内容。上下文越充分、越相关,回答的准确性和可控性就越强。
这也是为什么在很多企业级场景中,与其直接让模型“自由回答”,不如先把相关资料检索出来放进上下文,再要求模型基于这些资料作答。这种方式可以把模型从“记忆型回答”转变为“基于材料的回答”。
上下文虽然重要,但它并不是无限大的。每一次模型调用,都有一个最大可接受 token 数量,这个范围通常被称为上下文窗口。
可以把上下文窗口理解为一张工作台。模型在处理问题时,只能看到这张工作台上摆放的材料。工作台越大,能放的东西越多;但工作台越大,处理成本也越高,响应时间也可能变长。
上下文窗口主要受到三类限制:
模型自身的最大长度
不同模型对单次输入输出的总 token 数有不同的硬性上限。
成本限制
输入 token 通常需要计费。上下文越长,单次调用成本越高。高频业务场景下,上下文长度会直接反映在账单上。
注意力稀释问题
即使技术上允许传入很长的上下文,模型对长文本不同位置的关注程度并不均匀。关键信息如果被埋在大段无关内容中,可能无法被有效利用。
因此,上下文窗口并不是越大越好,而是要尽量让窗口内放入“高信息密度”的内容。
当上下文窗口接近上限时,常见做法是进行压缩。压缩的目标不是简单地截断,而是在保留关键信息的前提下,降低 token 占用。
常见的压缩策略包括:
摘要压缩
将较早的对话或长文档先总结成较短摘要,再放入上下文。
滑窗保留
只保留最近若干轮对话,更早内容被丢弃或压缩。
检索式压缩
不保留全部原始材料,只保留与当前问题最相关的片段。
分层记忆
近期的信息保留原文,中期的信息保留摘要,远期的信息只保留结论性事实。
压缩的本质是一种权衡:节省 token 与保留细节往往不可兼得。过度压缩可能导致重要细节丢失,尤其是当后续问题需要引用之前的具体数字、名称或约束时。
因此,在设计 Agent 时,需要根据任务类型判断哪些信息必须精确保留,哪些信息可以安全概括。
上下文窗口是临时的。一次会话结束后,其中的信息如果不做额外处理,就会消失。为了让 Agent 在多次会话之间仍然记得用户偏好或历史事实,需要引入书面记忆机制。
书面记忆通常不是直接修改模型参数,而是把关键信息持久化到外部存储中。例如,可以把用户偏好、项目背景、常用配置、历史决策等信息写入数据库或文件系统。下次会话开始时,再通过检索或预置方式把这些内容加载回上下文。
这种机制让 Agent 从“无状态回答”走向“有状态协作”。但书面记忆也带来新的问题:
如果缺少治理机制,书面记忆可能从“帮助”变成“负担”。
在很多应用场景中,Agent 并不是在用户输入之后才开始准备上下文,而是在更早阶段就预先注入了一些内容。这些内容统称为预置上下文。
预置上下文可以包括:
预置上下文的价值在于,它可以让 Agent 在正式回答之前就处于一个更可控的状态。这样既能减少无效输出,也能降低在对话中途反复纠正的沟通成本。
从工程角度看,预置上下文应该尽量稳定、清晰、不与用户输入混淆。对于复杂业务系统,通常会把预置上下文拆分为系统级、租户级和用户级,按需组合。
当任务复杂度提高后,仅靠用户输入和预置内容已经不够。Agent 需要在运行过程中主动获取新的信息,这就形成了“智能体上下文”机制。
此时,Agent 不再只是一个语言生成器,而是一个可以调用外部工具的决策体。它可能会执行如下动作:
这些工具返回的结果会被动态写入上下文,成为模型下一步推理的依据。整个过程通常表现为“观察—决策—执行—再观察”的循环。
这也解释了为什么 Agent 能同时兼顾效率与效果:它不是一次性把所有信息都塞进上下文,而是按需获取、按阶段使用。上下文因此从“静态材料”变成了“动态工作空间”。
但这也意味着,Agent 的效果高度依赖工具返回信息的质量。如果检索结果不相关、接口返回格式混乱、权限配置错误,模型的最终回答也会受到直接影响。
综合来看,要判断一个 AI Agent 的回答是否值得信任,可以从以下四个方面快速审视:
这个问题是否在参数记忆范围内
如果属于通用、稳定、公开的知识,参数记忆通常更可靠。
是否提供了足够且新鲜的上下文
如果涉及实时、私有或专业信息,没有上下文支持的回答风险更高。
上下文是否被正确使用
即使提供了资料,也要确认模型是否真正基于资料作答,而不是忽略资料自由发挥。
工具取数是否可靠
如果 Agent 主动调用工具,那么工具返回的数据质量和权限范围直接决定了最终答案的可信度。
一句话总结:AI Agent 的知识来源,要么是模型参数记忆,要么是本次调用中的上下文。理解它“此刻知道什么”,比争论它“到底有没有智能”更实际。掌握了这一点,你就能更准确地设计 Agent、控制 token 成本,并在合适的时候为更高质量的上下文买单。