大模型和智能体怎么选:从回答问题到完成任务

作者:KAKAKA2026.11.16 10:24浏览量:0

简介:大模型擅长理解和生成,智能体负责把结果落到业务系统中。本文拆解两者的分工、典型痛点与能力需求,给出对比表和选型路径,并说明权限控制、人工确认、监控指标等落地要点,帮助团队判断何时需要引入智能体架构。

一、先区分两类需求

团队引入人工智能时,常见的需求大致分为两类。

第一类是信息输出型需求,例如客服查询知识库、运营分析销售报表、研发根据需求生成测试用例。这类需求的核心是答得准、写得好,结果通常由人阅读后自行使用。

第二类是结果落地型需求,例如根据告警自动排查并通知值班人员、按规则修改订单状态、批量处理工单。这类需求的核心是能规划步骤、能调用外部系统、能完成操作并确认结果。

先判断需求属于哪一类,才能决定技术方案的复杂度。很多项目失败,是因为把第一类需求做成了第二类架构,或者反过来,用简单问答去承担需要执行的任务。

二、信息输出型场景的常见问题

这类场景主要有三个问题,每个问题都可以用检查表提前排查。

  1. 数据时效
    模型不了解内部最新数据。检查项:回答所依据的资料是否有更新时间,是否接入了检索服务,资料更新后索引多久同步一次。

  2. 上下文长度
    长文档和多来源资料超出上下文窗口时,信息容易遗漏。检查项:文档是否切分合理,检索结果是否按相关性排序,回答是否标注了引用来源。

  3. 输出稳定性
    同一问题多次提问,答案可能不一致。检查项:是否固定了提示词模板,是否设置了较低的随机性参数,关键结论是否需要人工复核。

三、结果落地型场景的风险

结果落地型场景的风险明显更高,主要集中在以下方面。

  • 任务链路长:查询、判断、写入、通知等步骤中,任何一步失败都会影响最终结果。
  • 接口故障多:接口权限、参数格式和返回结构变化,都会导致调用失败。
  • 副作用难撤销:修改订单、发送消息、变更配置一旦执行,回滚成本很高。
  • 追溯困难:没有完整记录时,出现问题后很难判断是哪一步出错。

应对这些风险,可以采用渐进方式。先上线只读版本,让模型只查询和汇总,确认准确率后再开放写操作。写操作先在小范围灰度,再逐步扩大。涉及资金、客户数据或配置变更的操作,保留人工复核环节。

四、大模型与智能体的分工

大模型是系统的理解与生成组件。它擅长语言理解、信息抽取、文本生成、代码理解和一定程度的推理。大模型本身不持有工具,也不会主动发起操作。每次调用都是输入一段上下文,得到一段输出。

智能体是围绕目标完成任务的完整系统。除大模型外,它通常包括以下部分:

  • 目标理解与任务拆解:把自然语言需求转化为可执行步骤。
  • 规划与决策:根据当前状态选择下一步动作,并判断何时结束。
  • 工具调用:通过标准接口访问数据库、知识库、消息服务和工单系统。
  • 状态与记忆:保存任务上下文、中间结果和历史操作。
  • 执行反馈与纠错:检查工具返回结果,失败时重试、换路径或转人工。
  • 安全与权限控制:限定可调用的工具和可执行的操作类型。

智能体的自主程度可以分级,不必一开始就做到全自主。

  • L0:纯问答。模型只生成内容,不调用任何工具。
  • L1:固定流程加模型节点。步骤由代码预先定义,模型只在某些节点负责理解或生成。
  • L2:受限选择。模型可以在预设的工具范围内选择动作,但动作顺序和边界由规则约束。
  • L3:动态规划。模型根据中间结果自行决定多步操作,适合步骤不固定的复杂任务。

固定流程加模型节点属于L1,不等于完整的自主智能体。大多数业务场景从L1开始,验证稳定后再逐步提高自主程度。

五、选型对比与决策路径

下表比较两类场景在各维度上的差异。

维度 信息输出型(大模型为主) 结果落地型(智能体架构)
核心目标 答得准、写得好 完成任务并确认结果
系统组成 模型、提示词、知识检索 模型、编排、工具、状态、权限、日志
主要风险 事实错误、输出不稳定 误操作、权限越界、链路中断
权限要求 只读知识库即可 按工具和操作类型单独授权
成本 较低,主要是模型调用费用 较高,包括开发、接口维护和监控
适用边界 结果由人阅读和使用 需要跨系统取数、写入或通知

选型可以按以下路径判断。

  1. 结果是否由人直接使用?是,则单独使用大模型即可,无需引入智能体。
  2. 否,则判断是否需要调用外部系统。不需要,则使用大模型加知识检索。
  3. 需要调用外部系统,则判断步骤是否固定。步骤固定,则采用L1,即固定流程加模型节点。
  4. 步骤不固定,则判断能否限定可选动作范围。能限定,则采用L2,即受限智能体。
  5. 无法限定动作范围时,先拆分需求,把任务切成若干可控子任务,不要直接上全自主方案。

六、分层方案与权限校验点

多数场景可以采用大模型加受控编排的分层思路。

第一层是交互层,负责接收请求并返回结果,可以是内部网页、即时通讯机器人或业务系统回调。

第二层是编排层,负责任务拆解、状态管理和流程控制,决定何时调用模型、何时调用工具。

第三层是能力层,包括模型服务、工具服务和知识检索服务。模型只负责理解和生成。写操作由工具服务执行,并经过权限校验。

第四层是支撑层,包括存储、消息、日志、监控和身份认证。

最小可行流程如下:入口,然后编排,然后模型、工具或检索,最后写入存储、日志和监控。其中有四个权限校验点。

  • 入口鉴权:确认调用方身份,记录请求来源。
  • 工具调用前校验:检查工具是否在白名单内,参数是否符合规范。
  • 写操作前确认:涉及副作用的操作需要人工确认或满足预设规则。
  • 日志留痕:每一步的输入、输出和结果都要记录。

模型的输出应被视为建议或中间结果。真正改变业务状态的动作,由确定性的代码和规则执行。

七、能力需求清单

结果落地型场景通常需要以下能力。

  • 模型推理能力:提供稳定的模型服务接口,支持并发请求和超时控制。
  • 编排能力:管理步骤顺序、条件分支、并行执行和重试。
  • 工具集成能力:统一封装外部接口,模型只看到受控的工具描述和参数规范。
  • 存储能力:保存任务状态、会话上下文和执行日志。
  • 消息与异步能力:耗时较长的任务通过消息队列解耦,避免请求阻塞。
  • 身份认证与权限能力:对调用方、工具和数据资源做统一鉴权。
  • 日志、监控与审计能力:记录每一步的输入、输出、耗时和结果。
  • 网络与安全能力:通过网络隔离、访问白名单和加密传输保护内部系统。

其中身份认证与权限能力需要重点设计,具体包括以下几点。

  • 最小权限:每个工具只授予完成任务所需的最小权限,读写权限分开。
  • 工具白名单:模型只能调用登记过的工具,未登记的接口一律拒绝。
  • 人工审批:涉及资金、客户数据或配置变更的写操作,需要审批人确认后执行。
  • 幂等设计:同一请求重复提交时只生效一次,每个请求带唯一编号。
  • 回滚机制:每个写工具配套补偿操作,出现错误时可以撤销。
  • 审计留痕:记录谁发起、模型给出了什么建议、工具实际执行了什么。

八、典型流程

结果落地型任务的基本路径包括接入、配置、运行和监控优化四个阶段。

  1. 接入
    明确调用入口,并完成调用方身份认证。每次请求建议记录以下字段:
  • request_id:请求唯一编号,用于幂等和追溯。
  • caller_id:调用系统标识。
  • user_id:发起请求的用户标识。
  • source:请求来源,例如内部网页或即时通讯机器人。
  • timestamp:请求时间。
  • auth_result:鉴权结果。
  1. 配置
    为每个工具定义完整说明,包括以下内容:
  • 名称与用途描述,供模型理解何时使用。
  • 参数规范,包括字段类型、必填项和取值范围。
  • 返回结构,明确成功和失败的判断标准。
  • 权限范围,说明读或写,以及可访问的数据。
  • 超时时间,例如只读工具设为5秒。
  • 重试策略,只读工具最多重试2次,写工具仅在具备幂等性时才自动重试。
  • 确认要求,标明哪些操作必须人工确认。
  1. 运行
    编排器调用模型,获取动作建议。编排器先校验参数,再调用工具,并检查返回结果。失败时按策略重试,无法恢复时换路径或转人工处理。每一步都写入日志,包括输入、输出、耗时和结果。

  2. 监控与优化
    上线后持续监控以下指标:

  • 任务成功率:完整完成的任务占比。
  • 平均耗时:从请求到结果返回的时间。
  • 工具错误率:各工具调用失败的比例。
  • 人工介入率:需要人工接手的任务占比。
  • 误操作次数:执行后需要回滚或更正的操作数量。

建议每周复盘失败样本,根据结果调整工具描述、优化提示词,或收紧或放宽权限。每次调整后都要回归测试,确认没有引入新问题。

九、上线前检查清单

上线前逐项确认以下事项。

  • 需求类型已明确,属于信息输出型还是结果落地型。
  • 自主程度已确定,优先从L1开始。
  • 所有工具均已登记,并配置了权限范围、超时和重试策略。
  • 写操作已设置人工确认,或已完成灰度验证。
  • 每个写工具都有对应的回滚方案。
  • 日志覆盖每一步,并能按请求编号完整回溯。
  • 监控指标已接入告警,人工介入率有明确阈值。

按照以上步骤推进,团队可以先用较低成本验证业务价值,再根据数据决定是否扩大智能体的自主范围。