简介:本文面向智能客服、智能办公、研发助手等 AI Agent 落地场景,分析应用层胶水化带来的逻辑坍塌、权限失控、评测困难和成本风险,并给出分层架构、工具治理、上下文管理、安全审计与持续评测的落地路径。
一、场景概述:当应用层只剩下胶水代码
在智能客服、智能办公、研发助手、数据分析助手、运营助手、企业知识问答、审批流程自动化等场景中,AI Agent 正在把“用户意图理解、任务拆解、工具调用、结果生成、业务反馈”串成一条新的执行链路。过去,这些逻辑通常固化在应用代码、规则引擎、工作流引擎或数据库逻辑中;现在,相当一部分逻辑开始下沉到模型能力、提示词、上下文拼装、工具编排和评测策略中。应用层看上去只剩下页面入口、身份校验、请求转发、结果展示等胶水代码。
这并不意味着业务逻辑消失,而是业务逻辑的形态发生了迁移。原本由确定性代码表达的分支判断,可能变成由模型、规则、工具白名单、流程状态和权限策略共同约束的行为结果。对于技术团队而言,真正的挑战不是“胶水代码太多”,而是当业务逻辑被拆解到模型、上下文、工具和评测体系中之后,如何保证系统可控、可解释、可回归、可审计。
本文讨论的场景是:企业在建设 AI Agent 应用时,应用层被弱化为接入与展示,业务规则被大量转移到模型编排和上下文执行中,此时应该构建哪些能力,才能避免应用退化为不稳定的一层壳。
二、典型场景与业务问题
这类场景通常出现在“自然语言交互 + 多系统操作 + 知识辅助 + 流程闭环”相结合的业务中。常见场景包括以下几类。
用户通过自然语言咨询订单状态、办理退换货、查询报销政策、获取 IT 支持、申请权限等。系统不仅要回答问题,还要调用订单系统、工单系统、知识库、权限系统。业务问题集中在:模型是否能理解真实意图,是否能访问正确数据,是否会在权限不足时越权操作,是否能在失败时给出可恢复的路径。
研发人员希望借助智能体读取代码、分析日志、生成测试用例、排查故障、辅助发布。业务问题集中在:上下文过长、知识分散、工具权限敏感、操作风险高、变更需要审计。如果应用层只做转发,一旦模型调用错误工具,影响可能直接传导到生产环境。
业务人员希望用自然语言查询指标、生成报表、解释波动、提出运营建议。业务问题集中在:指标口径是否统一、数据权限是否隔离、查询结果是否可追溯、模型是否会生成看似合理但不符合口径的结论。
运营人员希望批量生成活动文案、配置规则、生成素材、评估效果。业务问题集中在:内容合规、品牌口径、审核流程、生成质量与业务目标的匹配度。
这些场景的共同点是:应用层不再承载全部业务规则,而是成为用户入口、权限边界和流程编排的胶水层。如果只追求快速上线,而不建设背后的治理能力,应用会很快陷入难以维护的状态。
三、场景痛点:胶水化带来的核心问题
传统业务系统中,一个功能是否可用,通常可以通过接口测试、单元测试、规则测试验证。但在 AI Agent 场景中,输出由提示词、上下文、检索内容、工具返回结果、模型版本、采样策略共同决定。即使业务代码没有变化,只要知识库内容、工具描述、上下文顺序或模型服务发生变化,结果就可能变化。此时,传统“代码不变、行为不变”的假设被打破。
一次失败可能发生在多个环节:用户输入被误解、意图分类错误、知识检索不准、工具选择错误、参数生成错误、权限校验失败、工具返回异常、模型总结错误、最终展示信息缺失。应用层只剩胶水代码后,如果没有完整的链路追踪和状态记录,排查会从“读代码”变成“猜过程”。
AI Agent 往往需要读取业务数据、调用内部接口、生成文本、触发流程。一旦权限设计不合理,模型可能在未授权情况下访问敏感数据,或者把低权限用户的数据暴露给高权限上下文。胶水代码本身不天然带来安全问题,但胶水化之后,权限判断不再只发生在接口层,而是延伸到上下文拼装、工具调用和结果生成全过程。
Agent 任务往往不是一次模型调用,而是多轮推理、多次工具调用、多次检索增强。链路越长,token 消耗、数据库查询、接口调用、网络延迟都会叠加。如果没有模型分级、缓存、限流和成本控制,系统可能在高峰期出现延迟升高、调用失败和预算超支。
生成式系统没有唯一标准答案,传统以精确匹配为核心的评测方式不够用。需要评测任务完成率、工具调用准确率、权限遵守率、答案忠实度、响应延迟、人工满意度、失败恢复能力等多维指标。如果企业没有建立评测集,每次优化都会变成经验主义。
这类系统不是单一研发团队可以独立完成的。产品需要定义场景边界,业务需要提供规则,数据团队需要治理数据,安全团队需要审核权限,研发需要实现工具与编排,算法需要优化提示词与模型策略,运营需要收集反馈。缺少协同机制时,系统会快速腐化。
四、能力需求:应用层胶水化之后,应该构建什么
在 AI Agent 场景中,应用层如果只剩下胶水代码,真正需要构建的是“业务智能体运行体系”,而不是继续堆叠更多页面和按钮。该体系至少包括以下几类能力。
系统需要明确每个场景中的核心业务对象,例如工单、订单、合同、测试用例、告警事件、营销活动、用户会话等。业务对象的状态变化需要可追踪,例如“待确认、执行中、已调用工具、等待人工审核、已完成、失败、可重试”。没有状态管理,Agent 只能输出一段文本;有了状态管理,系统才能形成闭环。
上下文是 Agent 的输入基础,包括用户问题、历史会话、检索到的知识、当前业务状态、工具返回结果、权限信息、格式要求等。上下文工程要解决的问题不是“塞得越多越好”,而是在有限 token 内提供最相关、最可信、最必要的信息。需要支持上下文裁剪、优先级排序、敏感信息过滤、版本记录和复现实验。
工具是 Agent 与真实业务系统交互的桥梁。工具注册不仅包括名称、描述和参数结构,还应包括权限要求、适用场景、失败处理、超时策略、幂等规则、审计要求。对于高风险工具,例如修改配置、删除数据、发布变更、退款操作,应设置更严格的确认流程和审批机制。
并不是所有请求都需要复杂 Agent。简单问题可以直接检索回答,中等问题可以走固定工作流,复杂问题才需要多步规划或多角色协作。路由能力决定系统性能与成本。应根据问题类型、风险等级、用户权限、历史状态动态选择执行路径。
企业知识往往分布在文档、工单、数据库、对象存储、业务接口中。构建时需要统一接入方式,并做数据清洗、权限映射、版本管理、索引更新和检索策略设计。数据接入不能只追求“能查”,还要保证“查得准、查得全、查得安全”。
需要覆盖输入审核、输出审核、敏感信息识别、越权检测、提示词注入防护、工具调用白名单、审计日志、人工复核等。对于涉及资金、隐私、生产变更、对外发布的场景,安全能力应前置设计,而不是事后补救。
需要建立场景评测集,包括正常问题、边界问题、模糊问题、权限不足问题、工具失败问题、对抗输入问题等。每次更新提示词、工具、知识库或模型时,都应进行回归评测,避免局部优化导致整体退化。
需要记录每次请求的完整链路,包括用户输入、上下文摘要、模型调用、工具调用、返回结果、耗时、错误码、成本估算。通过日志服务、监控告警、链路追踪和成本分析,才能持续优化。
五、方案思路:构建分层的智能体运行架构
针对应用层胶水化场景,比较稳妥的做法是采用分层架构,而不是把所有逻辑都塞进一个提示词或一个 Agent 中。
该层负责多端入口接入,例如网页、移动应用、企业办公工具、API 接口等。核心能力包括身份认证、租户隔离、会话管理、限流、防刷、请求审计。这里的重点是确保每个请求都能追溯到真实用户、真实权限和真实业务场景。
编排层负责判断请求应该进入哪条执行路径。可以采用规则路由、模型路由、工作流路由或多 Agent 协作。对于高风险操作,编排层应强制进入人工确认或审批流程。对于低价值问题,应避免调用高成本模型,以降低延迟和费用。
工具层封装业务系统能力,例如查询数据库、调用内部接口、读取文档、创建工单、生成报表、提交变更等。数据层则包括业务数据库、对象存储、知识库、向量检索、会话存储等。工具和数据的权限必须独立控制,不能因为模型理解了自然语言就自动获得越权访问能力。
模型服务层提供文本生成、意图识别、摘要、分类、结构化输出等能力。可根据任务复杂度选择不同规格模型。简单分类可以使用轻量模型,复杂推理可以使用能力更强的模型。模型服务应支持版本管理、灰度切换和回滚机制。
治理层是防止应用退化为胶水代码的关键。包括提示词版本管理、工具白名单、知识版本管理、权限策略、敏感词与合规审核、审计日志、评测报告。治理层应能让技术负责人清楚回答:这个 Agent 为什么这样回答,调用了哪些数据,执行了哪些工具,谁有权限触发。
该层收集指标和日志,形成持续优化闭环。常见指标包括任务成功率、工具调用成功率、平均响应时长、人工转接率、用户满意度、失败原因分布、单次任务成本等。没有观测和优化,Agent 系统会很快变成不可维护的黑盒。
六、典型落地流程
优先选择边界清晰、价值明确、可人工兜底、失败成本可控的场景。例如内部知识问答、工单辅助、研发查询、报表解释等。对于直接涉及资金、生产变更、对外承诺的场景,应谨慎设计,先建立人工审核机制。
明确输入是什么、输出是什么、需要调用哪些系统、哪些动作必须由人确认、失败时如何回退。需要把业务规则整理成可执行的状态机或工作流,而不是完全依赖模型自行理解。
梳理需要接入的接口、数据库、知识库和文档。为每个工具定义描述、参数、返回结构、权限要求、超时时间和失败处理策略。对敏感数据建立脱敏、分级和访问控制机制。
先设计确定性流程,再逐步引入模型能力。简单请求直接处理,复杂请求再进入多步规划。对于关键路径,可以固定流程;对于探索性问题,可以允许多步推理,但要限制最大步数、最大工具调用次数和超时时间。
构建覆盖正常、异常、边界、权限、对抗输入和失败恢复的评测集。评测不仅看回答是否正确,还要看是否遵守权限、是否调用正确工具、是否给出可执行结果、是否能在失败时提供合理提示。
先让小范围用户试用,收集日志和反馈。灰度期间重点观察错误率、延迟、成本、人工介入率和投诉率。对于高风险动作,应设置双人确认或审批流。
上线不是终点。知识会更新,业务规则会变化,模型会迭代,工具会增加。需要建立定期复盘机制,持续修正知识库、提示词、工具描述、权限策略和路由规则。
七、关键模块详解
上下文管理是 Agent 质量的基础。需要明确哪些信息可以进入上下文,哪些信息必须排除。例如用户隐私信息不应无条件进入模型上下文,低权限数据不能与高权限任务混合。上下文应遵循最小化原则:只提供必要的业务状态、知识片段和工具结果。
工具调用不能只依赖模型输出。参数应由程序校验,权限应由服务端校验,动作是否幂等应由业务系统保证。对于查询类工具,可以允许自动执行;对于写入、删除、发布、退款类工具,应增加确认、审计和回滚能力。
复杂任务需要拆分为多个步骤。规划器可以基于规则和模型共同完成。系统需要保存中间状态,避免任务失败后从头开始。对于可恢复失败,应提供重试;对于不可恢复失败,应给出清晰说明并转人工。
输入侧应识别提示词注入、恶意诱导、敏感请求。输出侧应识别违规内容、错误数据、越权信息。审计侧应记录谁在什么时间发起什么请求,系统调用了哪些工具,返回了什么结果。审计日志应可查询、可导出、可追踪。
评测体系应从“单次回答质量”升级为“任务完成质量”。包括意图识别准确率、工具选择准确率、参数生成准确率、权限遵守率、回答忠实度、响应时长、失败恢复率。对于生成式内容,可以引入人工评分和规则评分结合的方式。
系统需要记录完整调用链,包括请求 ID、会话 ID、用户 ID、模型版本、提示词版本、工具版本、检索结果摘要、错误码和耗时。出现异常时,可以快速定位是模型问题、知识问题、工具问题还是权限问题。
成本优化可以从多个方面入手:简单任务走轻量模型;相似问题使用缓存;知识检索做结果压缩;限制最大上下文长度;避免无意义的重复工具调用;对非实时任务使用异步处理;对长尾问题设置人工兜底。性能优化则包括降低并发峰值、减少串行等待、提高缓存命中率、优化数据库查询。
八、落地要点:哪些必须交给代码,哪些可以交给模型
模型可以生成建议,但不能直接决定高风险操作。涉及资金、权限、生产变更、删除数据、对外发布的动作,必须有服务端权限校验、人工确认或审批流。模型输出只能作为候选动作,不能成为唯一执行依据。
模型可能因为上下文诱导而误判权限,也可能在工具描述模糊时选择错误工具。权限校验应发生在服务端、工具层和数据层,而不是只写在提示词中。
如果业务规则频繁变化,不应每次修改代码或提示词。可以将规则配置化,例如阈值、状态转换、审批条件、路由策略。这样更容易审计,也更容易回归测试。
提示词不是普通文本,而是系统行为的一部分。知识库也不是静态数据,而是会影响输出的运行时资产。两者都需要版本管理、变更记录和回滚能力。
对于查询类工具,失败重试通常影响较小;对于写入类工具,必须考虑幂等性,避免重复下单、重复创建工单、重复退款。工具设计应明确重试策略和失败恢复机制。
在复杂业务中,完全自动化并不总是合理。更稳妥的方式是让 AI 完成信息整理、初步判断和候选建议,让人完成最终确认。人机协同可以减少错误,也能提升用户对系统的信任。
不要一次性全量上线。先小流量验证,再根据指标扩大。回滚机制应覆盖提示词、知识库、工具版本、模型版本和路由策略。
AI Agent 的成本不只是模型调用费用,还包括检索、存储、接口调用、人工审核和运维投入。需要建立预算告警、配额限制和异常调用检测,避免成本失控。
九、关于输出不确定性的工程解释
在固定输入、固定参数、采样温度设置为 0 的情况下,输出仍可能发生变化,这是 AI 系统落地时常见的工程问题。从技术视角看,原因并不单一。
第一,底层并行计算和浮点运算可能存在细微差异。大规模模型推理通常依赖并行计算,不同硬件、不同算子实现、不同批处理组合可能导致浮点结果出现微小差异,进而在生成阶段放大为不同输出。
第二,服务端推理机制可能影响结果。批处理顺序、并发请求组合、缓存命中、任务调度、模型版本、量化方式、推理内核差异,都可能影响最终生成结果。
第三,上下文并非总是完全一致。即使业务认为输入相同,系统仍可能受到会话状态、历史摘要、检索结果、时间戳、用户权限、工具返回值的影响。上下文微小变化会导致输出变化。
第四,部分服务会在模型之外引入候选生成、路由选择、后处理策略或安全过滤策略。这些环节可能引入非完全确定性。
因此,在工程上不应把“完全一致的输出”作为业务承诺,而应把“稳定、可控、可审计”作为目标。可以通过固定模型版本、固定推理参数、记录完整输入输出、建立评测集、关键路径使用确定性工作流、减少不可控上下文变量等方式提升稳定性。
十、场景扩展
上述思路可以延伸到多个相近场景。例如企业智能客服中,可以构建知识检索、工单创建、权限校验和人工转接流程;研发辅助场景中,可以构建代码查询、日志分析、变更建议和审计流程;数据分析场景中,可以构建指标查询、口径校验、报表生成和权限隔离机制;运营场景中,可以构建内容生成、合规审核、活动配置和效果复盘流程。
不同场景的共性在于:都需要把“模型能力”转化为“可控业务能力”。区别只在于工具类型、数据权限、风险等级和评测指标不同。
十一、总结
当应用层只剩下胶水代码时,真正的问题不是应用变得简单,而是业务逻辑的承载方式发生了变化。AI Agent 时代,企业需要构建的不是更多薄壳应用,而是一套能够管理上下文、工具、权限、评测、安全和成本的业务智能体运行体系。
胶水代码并不是贬义词。它可以承担接入、展示、权限和流程衔接等必要职责。但如果企业只停留在胶水层,不把业务规则、知识治理、工具治理、安全审计和持续评测沉淀下来,应用就会变成难以维护的黑盒。更稳妥的方向,是让代码负责确定性、权限和审计,让模型负责理解、规划和生成,让流程负责风险控制和人工兜底。这样才能在 AI Agent 场景中兼顾效率、稳定和可控。