agent-">业务逻辑的“坍塌”：当应用层只剩下胶水代码，在 AI Agent 时代，我们该构建什么

一、对比背景：为什么“该构建什么”成了新问题

过去很长一段时间，应用层开发的核心工作是编写确定性业务逻辑：如果用户点击A，就校验B，再写入C，最后通知D。系统的复杂度主要来自业务规则的分支、状态机的流转、异常路径的兜底。开发者对“输入—处理—输出”有完全的掌控力。

但在大语言模型（LLM）与AI Agent逐步进入生产系统之后，一个明显的趋势出现了：大量原本由显式代码编写的判断、路由、抽取、生成、总结、对话等环节，被压缩为一段提示词、一次模型调用或一个Agent编排流程。应用层代码开始“变薄”，薄到只剩下参数拼装、上下文注入、结果解析和错误重试——也就是常说的“胶水代码”。

这就引出了本文要对比的两组核心对象：

• 对比组一：重投入的模型侧能力建设（预训练/后训练） vs 轻投入的应用侧套壳使用（提示词/编排/胶水）
• 对比组二：训练完成后参数固定的推理过程 vs 实际输出仍存在的不确定性

这两组对比共同回答一个问题：在AI Agent时代，我们该构建什么？是继续往模型层重投入，还是把精力放在应用层的编排与工程化？以及，当我们把业务逻辑交给模型时，如何理解并管理它的不确定性？

二、对象定义：两组对比分别是什么

2.1 预训练/后训练 vs 套壳应用

预训练/后训练指的是从零或从基座开始，通过大规模语料训练、指令微调、对齐等手段，获得一个具备通用或垂直能力的模型。其特点是投入大、周期长、门槛高，涉及数据、算力、算法团队和工程基础设施。

套壳应用指的是直接调用已有模型能力，通过提示词工程、上下文管理、工具调用、流程编排来实现业务功能。其特点是上手快、迭代快、成本相对可控，但能力上限受制于底层模型。

2.2 固定参数推理 vs 输出不确定性

从技术视角看，模型训练完成后，Embedding矩阵、Attention中的权重矩阵、FFN与Linear层的权重和偏置都已确定；位置编码、残差连接、归一化等计算过程也是确定的。那么为什么把Temperature设为0，固定输入仍然可能得到不同输出？

这组对比要辨析的是：“参数固定”不等于“输出完全确定”。不确定性可能来自推理框架的批处理调度、浮点运算的非结合性、并行规约顺序、采样实现细节、以及服务端的动态批处理与缓存策略等。理解这一点，对设计可复现、可测试、可运维的AI应用至关重要。

三、相同点分析：两组对象共享的底层逻辑

1. 都依赖同一套模型能力底座：无论是重投入训练还是轻量套壳，最终都落在Transformer类架构的推理能力上。
2. 都面临成本与效果的权衡：预训练/后训练投入高但可能带来差异化；套壳成本低但同质化风险高。
3. 都受不确定性影响：即使训练侧做了大量对齐，应用侧仍要处理输出波动、幻觉、格式不稳定等问题。
4. 都需要工程化支撑：数据管道、评测、监控、版本管理、灰度发布，这些能力在两组对象中都不可或缺。

四、核心差异分析

4.1 技术架构与资源管理

维度	预训练/后训练	套壳应用
部署方式	自建训练集群与推理集群，或使用托管训练服务	直接调用模型API或托管推理服务
依赖组件	数据清洗、分布式训练、检查点管理、推理优化	提示词管理、上下文缓存、工具调用、编排引擎
系统边界	覆盖从数据到模型到服务的全链路	主要覆盖应用侧编排与集成
资源管理	需要GPU/加速卡容量规划、队列调度、容错	主要关注API配额、并发、超时与重试

4.2 功能能力与使用限制

• 预训练/后训练：可定制领域知识、输出风格、安全策略；但需要大量高质量数据，且迭代周期长。
• 套壳应用：可快速组合多种能力（检索、工具、多轮对话）；但受限于底层模型的知识截止、上下文窗口、推理能力。

4.3 接入方式与开发改造量

套壳应用的接入通常更简单：申请密钥、封装客户端、编写提示词模板、解析结构化输出即可。预训练/后训练则需要搭建训练流水线、准备标注数据、设计评测集、管理模型版本。迁移成本上，从套壳转向自训练意味着团队能力、基础设施和预算的全面升级；从自训练转向套壳则可能损失差异化，但能快速验证市场。

4.4 性能表现

两者都不能简单说谁更快。自训练可以在推理侧做量化、蒸馏、算子优化，可能获得更低的单次延迟；套壳则依赖服务商的弹性扩展，在突发流量下可能更易扩容，但也可能受限于配额与网络往返。稳定性方面，自训练对故障域有更强控制力，套壳则把部分稳定性责任转移给服务方。

4.5 安全与合规

自训练可以完全掌控数据隔离、权限控制、审计日志和加密策略；套壳则需要评估服务方的数据留存、传输加密、身份认证与合规认证。对于敏感行业，数据不出域往往是硬性要求，这会直接影响选型。

4.6 运维成本与成本结构

• 自训练：资源成本高、人力成本高、迁移成本高，但长期看可能摊薄单位调用成本。
• 套壳：前期成本低、迭代快，但长期调用量大时，按量计费可能超过自建推理的边际成本。
• 共同点：两者都需要监控、告警、日志、版本升级和容量规划，只是责任边界不同。

五、对比表格：选型速查

选型维度	更适合预训练/后训练	更适合套壳应用
数据敏感度	高，要求数据不出域	中低，可接受托管
差异化需求	强，需要领域专属能力	弱，通用能力即可
团队能力	有算法与训练基础设施	以应用工程为主
预算与周期	预算充足、周期可接受	预算有限、需快速上线
调用规模	大规模、长期稳定	中小规模、波动大
合规要求	强监管、需自审计	通用合规即可

六、典型场景选择

• 开发测试与原型验证：优先套壳应用。快速验证提示词、编排流程和用户体验，避免过早投入训练。
• 生产系统的通用问答与内容生成：可优先考虑托管化程度更高的方案，结合检索增强与工具调用，降低运维负担。
• 垂直领域的深度定制：当通用模型在术语、格式、安全策略上反复不达标时，再评估后训练或微调。
• 高敏感数据场景：若数据不能出域，需优先评估自建或专有部署方案，并配套身份认证、权限控制与审计。
• AI Agent编排：无论底层是自训练还是套壳，Agent层都需要工具注册、状态管理、失败重试与可观测性。这部分是“该构建”的核心。

七、选型建议

1. 先问数据边界：数据能否离开自有环境？不能，则优先专有部署或自建。
2. 再问差异化：通用模型能否达到业务可接受的效果？能，则优先套壳；不能，再考虑后训练。
3. 算总账：把调用成本、人力成本、迁移成本、合规成本放在一起算，而不是只看单次调用价格。
4. 保留可替换性：无论选哪条路，都应在应用层做抽象，避免把业务逻辑硬编码到某个具体模型或接口上。
5. 把不确定性当一等公民：设计输出校验、重试、降级、人工兜底和评测集，而不是假设模型永远稳定。

八、迁移与使用注意事项

• 接口兼容性：从套壳迁移到自训练时，需重新适配鉴权、请求格式、流式输出和错误码。
• 数据与权限：迁移前确认数据管道、密钥管理、访问控制和审计日志的衔接。
• 稳定性风险：自训练推理集群需要处理冷启动、扩缩容、故障转移；套壳则需处理限流、超时和服务变更。
• 评测与回归：建立固定评测集，覆盖格式、事实性、安全性和延迟，迁移前后对比。
• 版本管理：模型版本、提示词版本、编排流程版本都要可追溯、可回滚。
• 成本监控：按调用量、token数、GPU时长等维度建立成本看板，避免预算失控。

九、回到不确定性问题：固定参数为何输出仍会变

即使Temperature设为0，以下因素仍可能导致输出变化：

• 浮点运算的非结合性：并行规约、矩阵乘法的累加顺序不同，结果可能有微小差异。
• 动态批处理：服务端把不同请求合并批处理，可能改变计算路径。
• 采样实现细节：不同推理框架对Top-K、Top-P、Temperature=0的处理不完全一致。
• 上下文长度与截断策略：输入被截断或分块的方式不同，会影响输出。
• 缓存与命中：前缀缓存、KV缓存命中与否可能影响计算结果。

因此，“参数固定”只是确定性的必要条件，不是充分条件。在工程上，应通过固定推理配置、固定批处理策略、固定输入格式、记录随机种子（若支持）和建立回归评测来管理不确定性。

十、总结：AI Agent时代该构建什么

当业务逻辑“坍塌”为胶水代码，真正值得构建的不是更多的胶水，而是：

1. 可替换的模型抽象层：让底层模型可切换，业务逻辑不被绑定。
2. 可观测的Agent编排层：工具调用、状态流转、失败重试、日志追踪。
3. 可评测的质量体系：固定评测集、回归测试、人工抽检、安全过滤。
4. 可控制的不确定性管理：输出校验、降级策略、人工兜底、成本与延迟预算。
5. 可复用的数据与权限底座：身份认证、权限控制、审计、加密、数据隔离。

预训练/后训练与套壳应用并非二选一，而是不同阶段的投入策略。对多数团队而言，先用套壳验证场景，再把真正需要差异化的部分下沉到后训练或专有部署，同时把工程化能力留在自己手里，是更稳健的路径。AI Agent时代，应用层不会消失，它只是从“写死逻辑”转向“编排能力、管理不确定性、保障质量与合规”。这，才是该构建的东西。