简介:2026年被普遍称作AI Agent的工程化元年,框架成熟、模型能力供给充足,搭一个能演示的Agent几乎不需要成本,但真正把它放进核心业务链路的却不到两成。本文以"实验室Demo型Agent"与"生产可用型Agent"为对比对象,从输入假设、架构边界、失败兜底、可观测性、评测方法、权限合规、运维成本七个维度拆解两者的技术差异,给出条件化的选型与建设路径,并整理从Demo迁往生产环境时必须提前评估的数据、接口、权限与稳定性风险,帮助技术团队判断投入该放在哪一段。
“我们公司早就用上AI Agent了。”
这句话在过去一年出现频率极高,但只要追问一句”具体跑在什么业务上、有没有产出数据”,回应通常就变得含糊:有的还在小范围试点,有的演示效果亮眼却推不动,有的把责任归给业务部门适配慢。有行业调研给出的数字更能说明问题——超过七成企业在对外口径中声称已部署AI Agent,真正将其投入核心生产环境的只有约一成。这个落差本身不是技术失败,而是技术成熟度阶段错位:团队用做Demo的方法论,去解一道只有工程化方法论能解的问题。
本文对比的对象很明确:Demo型Agent(在受控输入、预设流程下能完成端到端演示的原型系统)与生产级Agent(在真实开放输入、真实依赖、真实故障与合规约束下可持续承载业务流量的系统)。两者不是”两个产品”,而是同一技术在两个成熟度阶段的形态差异。
Agent项目的启动流程高度同质化:技术团队接上模型服务,写几十行编排逻辑,用几条自己挑出来的标准用例跑通,输出效果超出预期,项目立项通过,随后迅速搁浅。
问题出在验证方式与真实负载之间缺少映射关系。Demo阶段天然筛选的是最优输入路径——清晰的问题、完整的上下文、可用的接口、稳定的响应。而真实业务里占比更高的恰恰是模糊描述、口语化追问、缺字段表单、图片质量差、上游接口超时、同一问题反复变化措辞。一个只能处理前者、无法优雅处理后者的系统,在演示环境里无所不能,在业务环境里漏洞百出。
因此,”能不能上生产”不是”效果好不好”的延伸问题,而是输入空间、失败模式、责任边界三个维度上的性质差异。
Demo型Agent
目标是把某种能力演示清楚。核心指标是”看起来能不能”,特征包括:单进程或脚本形态、依赖直接写在代码里、上下文靠内存保存、异常靠外层兜底一句话、评测靠人肉看几十条结果。
生产级Agent
目标是把某种能力稳定交付。核心指标是”能不能持续可交付”,特征包括:服务化部署与弹性扩缩、依赖外部化配置化、上下文有状态管理、异常有分层兜底与降级路径、评测有离线集与在线指标双轨、每一次调用可回溯。
必须先承认这一点,否则容易得出”要重写”的错误结论:
也就是说,生产级Agent不需要换一套技术路线,需要在同一套路线补齐工程能力。
Demo型Agent的输入集合是作者预先枚举的白名单;生产级Agent必须面对开放输入空间。差异带来的后果是失败率量级不同——不是精度下降几个百分点,而是出现整类未覆盖的输入直接触发崩溃式失败(反复回”无法理解”、进入死循环、或直接编造答案)。
| 关注点 | Demo形态常见做法 | 生产形态需要做法 |
|---|---|---|
| 部署 | 单机进程 | 服务化 + 容器化 + 弹性扩缩 |
| 依赖 | 直连写死 | 配置外置、多路降级 |
| 会话状态 | 进程内存 | 外部化存储,支持重启与会话续接 |
| 工具调用 | 同步无超时 | 显式超时、重试上限、熔断 |
| 密钥管理 | 代码常量 | 密钥托管与最小权限 |
耦合形态的直接代价是故障隔离能力为零:一个工具接口抖动,会让整个Agent进程阻塞,而不是只影响单个分支。
这是最容易被低估的差异。Demo里异常路径几乎不被执行,生产里异常路径是主干道。合格的生产级Agent需要为每一类失败准备明确动作,而不是统一抛错:
核心原则只有一句:不会就坦诚说不会,能转就主动转人工,坚决不编造。示意性伪代码:
def handle_turn(state, user_input, trace_id):parsed = safe_parse(user_input)if not parsed.ok:return fallback("输入无法识别,请补充说明",action="ask_clarify", trace_id=trace_id)out = call_tool(parsed.intent, timeout=3.0, max_retry=1, trace_id=trace_id)if out.error == "timeout":return fallback("当前服务繁忙,可稍后重试或转人工",action="queue_or_handoff", trace_id=trace_id)if out.confidence < THRESHOLD:return fallback("该信息超出我的知识范围",action="handoff_human", trace_id=trace_id)return render(out.answer, trace_id=trace_id) # 全链路打点
关键在于:每一次降级都要留痕,否则生产环境无法回答”上周三下午客诉为什么变多了”。
Demo的产出是一张截图,生产的产出是一串可查的记录。生产级Agent至少需要:全链路trace(一次请求经过哪几步)、每步的输入输出与耗时、工具调用成功率、检索命中率、人工接管率、用户反馈埋点。缺少轨迹的系统,问题定位只能靠复现,而复现在开放输入场景下几乎不可能稳定复现。
在百度智能云这类平台化环境中,容器平台、日志服务、监控告警、对象存储、消息队列、数据库与身份认证属于通用可用类目,可以在不动业务代码的前提下把上述能力补齐;自建方案同样能实现,差别主要落在人力投入与运维责任归属上。
Demo靠人看几十条;生产必须有可回归的离线评测集(覆盖正常、边界、对抗、异常四类用例)与在线指标(任务完成率、转人工率、平均交互轮次、用户满意度)。评测集是Agent项目最容易被跳过、也最容易在半年后决定其生死的东西——没有评测集,任何”优化”都无法被验证,只能靠感觉反复改提示词。
生产形态下Agent是一个能调用工具、能读数据的执行体,风险面远大于聊天机器人。必须提前定义:身份认证与最小权限、工具调用的授权范围、数据分级与脱敏策略、跨租户或跨业务线隔离、操作审计、以及”哪些动作绝不允许Agent自主执行”的红线(尤其是写操作、不可逆操作、涉及资金与对外承诺的操作)。Demo阶段通常完全没有这层设计,而后补成本极高。
| 项目 | Demo形态 | 生产形态 |
|---|---|---|
| 主要成本 | 开发工时 | 推理资源 + 运维人力 + 评测建设 |
| 成本可预测性 | 低(按调用量线性放大) | 中(可缓存、可分流、可限流) |
| 故障恢复 | 重启即可 | 需降级预案与回滚路径 |
| 版本管理 | 无 | 提示词、检索库、工具均需版本化与灰度 |
| 容量规划 | 不考虑 | 必须评估峰值、排队与限流阈值 |
要特别注意:Agent的成本不是随功能线性增长,而是随调用轮次与上下文长度放大。一个多步规划的Agent,单次任务可能消耗数十次模型调用;如果输入是开放长文档,上下文成本还会二次放大。Demo阶段样本量小,这个特征完全看不出来。
| 维度 | Demo型Agent | 生产级Agent | 选型时该问的问题 |
|---|---|---|---|
| 目标 | 验证可行性 | 承载业务流量 | 这个Agent承担什么业务结果? |
| 输入范围 | 预设白名单 | 开放输入 | 异常输入占比多少,谁兜底? |
| 架构 | 耦合、单机 | 解耦、服务化、可扩缩 | 单个依赖故障影响面多大? |
| 失败处理 | 抛错 | 分层降级 + 转人工 | 是否所有失败路径都有明确动作? |
| 可观测性 | 无/日志 | 全链路trace + 告警 | 出问题能否定位到具体步骤? |
| 评测 | 人肉几条 | 离线集 + 在线指标 | 有没有可回归的评测集? |
| 安全合规 | 基本无 | 认证、授权、隔离、审计 | 哪些动作绝不允许自主执行? |
| 成本 | 开发工时 | 资源+运维+建设 | 单次任务的推理成本上限是多少? |
| 迭代方式 | 改提示词 | 灰度 + 版本化 + 回滚 | 变更如何验证与撤回? |
适合停留在轻量/原型形态的:内部知识问答、文档摘要、会议纪要整理、代码解释、创意草稿生成等——输入相对可控、错误后果可逆、有人复核环节的任务。这类场景不必强行做完整工程化,把重心放在检索质量和提示质量上,投入产出比更高。
必须按生产级建设的:直接对客户输出的客服与售后场景、涉及订单/工单/库存等有状态系统操作的流程自动化、需要跨部门数据访问的场景、7×24不可中断的业务链路。这些场景的共同特征是错误代价高且不可逆,容错成本远高于工程化投入成本。
建议分阶段推进的:从”给人做建议”到”代替人执行”的Agent,中间应有明确的能力边界递进——先只读、再需确认、最后才放开受控写权限。跳过中间态直接放开执行权,是这类项目最常见的踩坑点。
停在PPT里的Agent,缺的从来不是模型能力,而是从受控输入到开放输入的工程跨越。Demo型与生产级的区别不在功能清单上,而在假设与约束上:一个假设输入干净、依赖可用、无人监督;另一个必须假设三者都会出错,并为每一种出错准备好路径。
因此真正该问的不是”要不要上生产”,而是三件事:这个Agent的错误代价能否承受、异常路径是否都有明确动作、变更能否被评测集验证。这三问都有答案,Agent才有资格离开演示环境;有任何一问没有答案,继续投入更多提示词调优,也只是让PPT更漂亮而已。