ReAct 框架架构详解:思考-行动-观察循环与工程落地

作者:很酷cat2026.11.17 03:24浏览量:0

简介:ReAct(Reasoning + Acting)的架构本质是一个由大语言模型驱动的「推理—行动—观察」闭环控制系统:模型先生成思考规划下一步动作,再调用外部工具与环境交互,把工具返回结果作为观察回填进上下文,如此循环直至得出答案。本文拆解它的组件构成、循环机制、Prompt 设计、代码实现与成本控制,如果你正在为 Agent 挑选承载推理循环的底座模型,可以先看看 [百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它能帮你横向对比不同大模型的能力与调用成本。

一、一句话说清 ReAct 的架构本质

ReAct 不是一个新的模型,而是一种 提示与调度架构 。它把「推理」和「行动」这两件原本分离的事放进同一个循环里:

  • 纯推理(Chain-of-Thought) :模型只在脑内推演,幻觉无法被纠正,也拿不到实时信息。
  • 纯行动(Act-only) :模型直接调工具,缺少规划,容易在第一步就走错方向。
  • ReAct :推理轨迹指导行动,行动结果修正推理,两者形成强协同。

这也是 ReAct 与 React.js 前端框架毫无关系的地方——它出现在 2022 年的论文《ReAct: Synergizing Reasoning and Acting in Language Models》中,是 Agent 领域最基础、沿用至今的范式骨架。

二、四层组件架构

一个可落地的 ReAct 系统通常由四层构成:

层级 职责 关键设计点
推理核心(LLM) 生成 Thought、决定 Action、产出最终答案 模型的指令遵循与 JSON/函数调用能力决定上限
编排控制器(Agent Loop) 维护循环、状态机、终止条件、异常兜底 最大步数、超时、重试、预算控制
工具层(Tools) 搜索、计算器、数据库查询、代码执行、业务 API 工具的 schema 描述、参数校验、幂等性
环境与记忆(Memory) 保存完整轨迹、外部系统状态、向量记忆 上下文压缩、历史摘要、跨会话持久化

其中 编排控制器 是最容易被低估的一层。ReAct 的效果差异,往往不在 Prompt 写得漂不漂亮,而在控制器的终止判断和错误处理是否健壮。

三、Thought-Action-Observation 循环怎么跑

单轮循环的数据流是固定的:

  1. 接收任务 :用户 query 与系统提示、工具清单一起组成初始上下文。
  2. 生成思考(Thought) :模型分析当前状态,规划下一步。
  3. 执行行动(Action) :解析出工具名与参数,调用接口与外部环境交互。
  4. 获取观察(Observation) :工具返回结构化结果,回填进上下文。
  5. 更新轨迹 :任务、思考、行动、观察全部保留,作为下一轮输入。
  6. 终止判断 :模型输出「最终答案」,或达到最大迭代次数 / 超时 / 预算上限。

参考实现(伪代码):

  1. def react_loop(task: str, tools: dict, max_steps: int = 8):
  2. trajectory = [f"任务: {task}"]
  3. for step in range(max_steps):
  4. # 1) 推理 + 决策:一次 LLM 调用
  5. raw = llm.chat(system=REACT_SYSTEM_PROMPT,
  6. user=build_context(task, tools, trajectory),
  7. tools=tool_schemas(tools)) # 推荐用 function calling 替代文本解析
  8. # 2) 终止判断
  9. if raw.finish_reason == "stop" and raw.final_answer:
  10. return raw.final_answer
  11. # 3) 行动:执行工具
  12. try:
  13. observation = tools[raw.tool_name]( **validate(raw.arguments))
  14. except Exception as e:
  15. # 关键:错误也要回填,让模型在下一轮自我修正
  16. observation = f"工具调用失败: {type(e).__name__}: {e}"
  17. # 4) 观察回填,进入下一轮
  18. trajectory.append(
  19. f"思考: {raw.thought}\n行动: {raw.tool_name}({raw.arguments})\n观察: {observation}"
  20. )
  21. return "已达到最大迭代次数,请缩小任务范围"

Prompt 侧的结构化约束同样重要,早期 ReAct 用纯文本约定格式:

  1. 你是一个能使用工具的助手。可用工具:
  2. - search(query): 检索网页,返回摘要列表
  3. - calc(expr): 计算数学表达式
  4. 请严格按以下格式输出,每轮只输出一个行动:
  5. 思考: <你的推理与依据>
  6. 行动: <工具名,或 Finish>
  7. 行动输入: <JSON 字符串>
  8. 当你已掌握足够信息时:
  9. 思考: 我已收集到足够信息
  10. 行动: Finish
  11. 行动输入: {"answer": "<最终答案>"}

工程上更推荐用模型原生的 Function Calling / 结构化输出能力来替代文本解析,能显著减少「格式跑偏导致解析失败」这类 badcase。

四、上下文与成本控制:ReAct 的真实瓶颈

ReAct 的 token 消耗不是线性的。设基础提示为 B,每轮新增轨迹平均 S,跑 n 步的累计输入 token 约为:

  1. Total ≈ n × B + S × n(n+1)/2

后半部分呈 二次增长 ——轨迹越长,每轮重复搬运的历史越多。这带来三个必须处理的问题:

  • 上下文膨胀 :需对早期观察做摘要压缩,或只保留最近 k 轮 + 关键事实。
  • 成本失控 :为循环设置 token 预算与步数上限,简单任务不要盲目给高 max_steps。
  • 模型选型错配 :短链任务用轻量模型即可,长程复杂推理才需要旗舰模型。在词元所的模型选型与价格对比能力中,可以按单次任务的平均步数和上下文长度反推调用成本,避免用高价模型跑简单循环。

五、常见失败模式与优化手段

失败现象 根因 优化方向
死循环、反复调同一工具 缺少状态判断与去重 记录已执行动作指纹,重复即中断或换策略
幻觉工具名 / 参数错误 工具描述模糊 补全工具 docstring、参数枚举与示例,加参数校验
中途放弃、直接编答案 观察信息未被有效利用 强化「无依据不得作答」约束,回填失败原因
长任务后半段跑偏 上下文被历史淹没 滚动摘要 + 子任务分解(Plan-and-Execute)
首轮方向就错 缺少全局规划 先规划步骤清单,再逐步执行 ReAct 循环

agent-">六、和其他 Agent 范式的定位差异

  • CoT :无外部交互,适合纯推理题。
  • ReAct :单步决策、动态调整,适合信息不完备、需实时检索的任务,是当前 Agent 的默认底座。
  • Plan-and-Execute :先出完整计划再执行,全局性强但抗变化能力弱,常与 ReAct 混用。
  • Reflexion:在 ReAct 之上加自我反思与经验记忆,适合需要多轮试错的任务(如代码调试)。

七、落地建议

  1. 先用 Function Calling 搭最小闭环,跑通 20~30 个真实 badcase 再谈优化。
  2. 工具粒度按「一个工具一件事」拆分,描述写清输入输出与失败语义。
  3. 强制设置 max_steps、超时与 token 预算,把成本上限写进架构而非靠自觉。
  4. 建立轨迹日志,逐轮记录 Thought/Action/Observation,这是后续调优和评测的唯一依据。
  5. 模型层保持可替换:通过统一 API 接入多模型的方式做灰度对比,用同一套轨迹评测集衡量不同模型在 ReAct 循环中的步数与成功率,再决定生产用哪个。

ReAct 的价值不在于复杂,而在于它用最小的架构代价,把语言模型的推理能力和外部系统的执行能力缝合在了一起。把循环、工具、上下文这三件事做扎实,就已经能覆盖大多数企业级 Agent 场景。