简介:从"业务逻辑坍塌、应用层只剩胶水代码"这一现象切入,系统对比传统应用架构与AI Agent智能体化架构在技术底座、业务逻辑承载位置、确定性、安全、运维与成本上的核心差异,并回答一个关键疑问:即便把温度参数设为0,固定输入下的模型输出为何仍会变化。文章帮助开发者在AI Agent时代判断哪些逻辑该交给模型、哪些该留在代码,并给出条件化的场景选型思路与迁移注意事项。
过去很长一段时间,一个应用的”业务逻辑”几乎等同于应用层代码本身:订单状态机、风控规则、审批流、库存扣减、财务结算,都是被工程师一行行明确写出来的确定性流程。而进入 AI Agent 时代后,一种新的现象正在蔓延——越来越多的应用开始把本该固化在代码里的判断,交给大模型在运行时”临场发挥”,应用层随之退化为一层薄薄的胶水代码,只负责拼装提示词、调用模型、解析结果、再调用下游工具。
这种”坍塌”本身不是坏事。它意味着一部分过去只能靠规则枚举硬编码的复杂判断,现在可以用自然语言描述、由模型泛化处理。但也带来了新的问题:当业务逻辑不再是显式的 if-else,而是隐含在模型权重和提示词里时,系统的确定性、可测试性、可审计性都会发生变化。于是团队普遍会陷入两个极端判断:一种认为”AI 无所不能,应用层随便糊一层就行”;另一种认为”AI 就是几个矩阵相乘,不值得依赖”。
要理性回答”在 AI Agent 时代我们该构建什么”,前提是先把两类架构的边界和差异讲清楚。本文对比的对象是:方案A——传统应用架构(业务逻辑固化在应用层的确定性代码中) 与 方案B——AI Agent 智能体化架构(业务逻辑部分下沉到模型的推理与决策中,应用层主要承担上下文组装、工具编排与循环控制)。
方案A:传统应用架构。 其核心特征是”逻辑显式、结果确定”。业务规则由开发人员用编程语言精确表达,状态变更通过数据库事务、消息队列、缓存和各类服务调用协同完成。同样的输入,在同样的代码和数据下,应当得到同样的输出。它擅长处理结构清晰、规则明确、需要强一致与可审计的核心链路。
方案B:AI Agent 智能体化架构。 其核心特征是”逻辑部分隐式、结果概率化”。模型在训练阶段把大量模式压缩进权重,运行时再由 Agent 根据上下文进行推理、规划,并自主调用工具(函数)完成多步任务。应用层此时更多承担”控制平面”角色:维护对话/任务上下文、管理记忆与检索、编排工具调用循环、对模型输出做校验与兜底。它擅长处理开放性强、规则难以穷尽、以自然语言为主要载体的长尾任务。
在展开差异之前,有必要先承认它们的共性,否则容易得出”新架构全面替代旧架构”的误判。
换句话说,方案B并没有推翻方案A,而是在方案A之上叠加了一层概率化的推理与决策能力。
这是两类架构最本质的分野,也直接解释了原始问题中”为什么温度设为0输出仍会变”的困惑。
传统架构里,逻辑是显式且确定的:相同输入经过相同代码必然得到相同输出。而 AI Agent 架构里,一部分逻辑隐式存在于模型权重中,其执行是概率化的。即便把采样温度设为0(即贪心解码、不做随机采样),固定输入下的输出仍可能发生变化,常见的技术原因包括:
(a+b)+c 与 a+(b+c) 结果并不严格相等。GPU 上的并行归约(reduction)顺序会随批大小、序列长度、并行切分方式变化,导致 logits 出现极微小的数值差异,在临界点就可能翻转出不同的 token。也就是说,方案B的”不确定性”并非实现瑕疵,而是概率化架构的固有属性。这决定了它天然不适合承担那些”必须每次结果一致、且需要严格审计”的核心逻辑。
方案A的组件相对收敛:服务、数据库、消息队列、缓存,边界清晰、调用链短。方案B则需要额外引入若干新组件:模型推理服务、向量存储(用于嵌入与检索增强)、上下文/记忆管理、工具注册表、以及负责输出校验与内容审核的护栏层。系统边界更宽、活动部件更多,任一环节(检索质量、上下文长度、工具描述)都可能显著影响最终效果。
方案A擅长规则明确、高频稳定的流程,强项在于精确与一致;方案B擅长模糊、开放、规则无法穷尽的任务,强项在于处理长尾与自然语言理解。一个典型误区是用方案B去替代本该由方案A承担的高一致场景(如资金结算),或反过来用方案A去硬编码本该由模型泛化的开放任务,两种错配都会推高维护成本。
方案A有成熟的工具链、类型系统与调试手段,逻辑可预测、易测试。方案B则需要引入提示词工程、评估体系(evaluation)、护栏与提示注入防护,并且难以用传统单元测试断言”输出正确性”。团队的心智模型要从”写完即确定”转向”设计边界+持续评估”。
方案A的延迟与吞吐通常可预测,横向扩展成熟。方案B的延迟主要由模型推理主导(通常在秒级量级),吞吐受推理算力约束,单位请求的计算开销更高。因此,方案B更依赖缓存、批处理调度与合理的能力分层来控制成本与延迟。(此处仅描述通用特性,不引用具体性能数值。)
两者都需要身份认证、权限控制、数据隔离、加密与审计。方案B在此之上额外引入了特有风险:提示注入(恶意输入劫持模型行为)、上下文导致的数据泄露、输出幻觉带来的错误动作,以及工具调用权限过宽带来的越权风险。因此方案B必须配套护栏、内容审核、最小权限的工具授权,以及对高风险动作的人工确认。
方案A的监控告警、日志、回滚体系成熟,故障根因相对可定位。方案B则需要额外观测提示词/补全的 token 消耗、评估输出质量、对提示词与模型版本做灰度与回归,且因非确定性,线上问题的复现与根因分析更困难,还会面临效果随模型/数据变化的”漂移”问题。
方案A以计算资源与人力开发成本为主,相对可预估。方案B的边际成本随调用量按 token 计费增长,还要叠加评估、优化与护栏带来的持续投入。在长期、高频、规则明确的场景下,方案A通常成本更低;在需求多变、规则难穷尽的场景下,方案B用可控的成本换取了覆盖率与灵活性。
| 维度 | 方案A 传统应用架构 | 方案B AI Agent 智能体化架构 |
|---|---|---|
| 逻辑承载位置 | 应用层显式代码 | 部分下沉到模型权重,隐式 |
| 确定性 | 强,同输入同输出 | 概率化,温度0仍可能有波动 |
| 组件复杂度 | 收敛,边界清晰 | 新增模型服务、向量存储、上下文管理、护栏 |
| 擅长任务 | 规则明确、高频、强一致 | 开放、模糊、自然语言、长尾 |
| 测试与调试 | 传统单测可断言 | 需评估体系,难以断言唯一正确 |
| 延迟与吞吐 | 可预测,易扩展 | 受推理算力约束,延迟更高 |
| 特有安全风险 | 常规安全 | 提示注入、幻觉、上下文泄露、工具越权 |
| 运维重点 | 监控/回滚/根因定位 | token 观测、效果评估、版本漂移 |
| 成本结构 | 计算+人力,可预估 | 按 token 计费,随用量增长 |
| 使用边界 | 不适合开放模糊任务 | 不宜独占高一致、可审计的核心链路 |
下面是一段通用伪代码,示意这种”确定主干 + 概率决策 + 校验兜底”的编排思路(不含任何第三方工具):
def handle_task(user_input):context = load_context(user_input) # 组装上下文/记忆plan = agent.reason(context) # 模型概率化推理,得到行动计划for step in plan.steps:if step.is_high_risk: # 不可逆/高敏感动作require_human_approval(step) # 人工确认后再执行result = deterministic_execute(step) # 由确定代码执行,保证可审计validate(result) # 对模型输出与执行结果做校验if not valid:fallback_to_rule_path() # 概率路径失败则回退到规则路径return audit_log(final_state) # 全程留痕
从方案A向方案B迁移,或引入 Agent 能力时,需要提前评估:
需要强调的是,这里列举的向量存储、监控告警、身份认证、大模型服务等均为通用能力类目;像百度智能云这类云平台通常都会提供上述通用能力,团队可据此减少自建负担。
回到最初的问题——“业务逻辑坍塌、应用层只剩胶水代码”时,我们该构建什么?答案是:坍塌的不是业务逻辑本身,而是它原本的安放位置。价值从”把每条规则写进代码”转移到了”设计好确定性与概率性的边界,并为概率性部分建立可信的控制平面”。
因此,在 AI Agent 时代真正值得投入去构建的,不再是那层薄薄胶水,而是围绕模型的一整套工程能力:上下文与数据管道、输出护栏、持续评估体系、全链路可观测性,以及对”哪些动作不可逆、必须确定、需要审计”的清晰界定。想清楚这一点,就能避免”随便糊一层”和”完全神话 AI”两种极端——两类架构并非替代关系,而是确定性主干与概率化辅助层的分工协作。选型的关键,始终是回到业务对确定性、一致性与灵活性的真实诉求上,做条件化判断。