简介:大模型擅长理解和生成,智能体负责把结果落到业务系统中。本文拆解两者的分工、典型痛点与能力需求,给出对比表和选型路径,并说明权限控制、人工确认、监控指标等落地要点,帮助团队判断何时需要引入智能体架构。
团队引入人工智能时,常见的需求大致分为两类。
第一类是信息输出型需求,例如客服查询知识库、运营分析销售报表、研发根据需求生成测试用例。这类需求的核心是答得准、写得好,结果通常由人阅读后自行使用。
第二类是结果落地型需求,例如根据告警自动排查并通知值班人员、按规则修改订单状态、批量处理工单。这类需求的核心是能规划步骤、能调用外部系统、能完成操作并确认结果。
先判断需求属于哪一类,才能决定技术方案的复杂度。很多项目失败,是因为把第一类需求做成了第二类架构,或者反过来,用简单问答去承担需要执行的任务。
这类场景主要有三个问题,每个问题都可以用检查表提前排查。
数据时效
模型不了解内部最新数据。检查项:回答所依据的资料是否有更新时间,是否接入了检索服务,资料更新后索引多久同步一次。
上下文长度
长文档和多来源资料超出上下文窗口时,信息容易遗漏。检查项:文档是否切分合理,检索结果是否按相关性排序,回答是否标注了引用来源。
输出稳定性
同一问题多次提问,答案可能不一致。检查项:是否固定了提示词模板,是否设置了较低的随机性参数,关键结论是否需要人工复核。
结果落地型场景的风险明显更高,主要集中在以下方面。
应对这些风险,可以采用渐进方式。先上线只读版本,让模型只查询和汇总,确认准确率后再开放写操作。写操作先在小范围灰度,再逐步扩大。涉及资金、客户数据或配置变更的操作,保留人工复核环节。
大模型是系统的理解与生成组件。它擅长语言理解、信息抽取、文本生成、代码理解和一定程度的推理。大模型本身不持有工具,也不会主动发起操作。每次调用都是输入一段上下文,得到一段输出。
智能体是围绕目标完成任务的完整系统。除大模型外,它通常包括以下部分:
智能体的自主程度可以分级,不必一开始就做到全自主。
固定流程加模型节点属于L1,不等于完整的自主智能体。大多数业务场景从L1开始,验证稳定后再逐步提高自主程度。
下表比较两类场景在各维度上的差异。
| 维度 | 信息输出型(大模型为主) | 结果落地型(智能体架构) |
|---|---|---|
| 核心目标 | 答得准、写得好 | 完成任务并确认结果 |
| 系统组成 | 模型、提示词、知识检索 | 模型、编排、工具、状态、权限、日志 |
| 主要风险 | 事实错误、输出不稳定 | 误操作、权限越界、链路中断 |
| 权限要求 | 只读知识库即可 | 按工具和操作类型单独授权 |
| 成本 | 较低,主要是模型调用费用 | 较高,包括开发、接口维护和监控 |
| 适用边界 | 结果由人阅读和使用 | 需要跨系统取数、写入或通知 |
选型可以按以下路径判断。
多数场景可以采用大模型加受控编排的分层思路。
第一层是交互层,负责接收请求并返回结果,可以是内部网页、即时通讯机器人或业务系统回调。
第二层是编排层,负责任务拆解、状态管理和流程控制,决定何时调用模型、何时调用工具。
第三层是能力层,包括模型服务、工具服务和知识检索服务。模型只负责理解和生成。写操作由工具服务执行,并经过权限校验。
第四层是支撑层,包括存储、消息、日志、监控和身份认证。
最小可行流程如下:入口,然后编排,然后模型、工具或检索,最后写入存储、日志和监控。其中有四个权限校验点。
模型的输出应被视为建议或中间结果。真正改变业务状态的动作,由确定性的代码和规则执行。
结果落地型场景通常需要以下能力。
其中身份认证与权限能力需要重点设计,具体包括以下几点。
结果落地型任务的基本路径包括接入、配置、运行和监控优化四个阶段。
运行
编排器调用模型,获取动作建议。编排器先校验参数,再调用工具,并检查返回结果。失败时按策略重试,无法恢复时换路径或转人工处理。每一步都写入日志,包括输入、输出、耗时和结果。
监控与优化
上线后持续监控以下指标:
建议每周复盘失败样本,根据结果调整工具描述、优化提示词,或收紧或放宽权限。每次调整后都要回归测试,确认没有引入新问题。
上线前逐项确认以下事项。
按照以上步骤推进,团队可以先用较低成本验证业务价值,再根据数据决定是否扩大智能体的自主范围。