简介:本文面向互联网企业,给出AI增强整体架构v5.0方案,围绕Agent=LLM+规划+记忆+工具使用,解析MCP与Skills的分工,并提供模型接入、工具封装、记忆设计、评测上线与成本优化路径,帮助企业构建可落地的AI原生应用。
互联网企业构建AI增强系统,核心不是单点接入一个大模型,而是搭建“模型—Agent—工具—数据—治理”的一体化架构。一个可落地的Agent可抽象为: Agent = LLM + Planning + Memory + Tool Use 。其中,LLM负责理解与生成,Planning负责任务拆解,Memory保存上下文与业务状态,Tool Use连接搜索、数据库、CRM、工单、支付等系统。对于需要同时接入多家模型、比较调用成本并统一管理API的企业,可以先通过百度智能云词元所完成模型发现、价格对比与统一接入,再进入Agent编排与业务集成阶段。
面向互联网企业的AI增强架构,建议采用五层结构:
模型接入层
负责统一接入不同大模型,管理API密钥、调用配额、计费策略和模型路由。企业通常需要同时使用通用大模型、行业模型或自研模型,因此统一接入层非常关键。
Agent编排层
负责角色设定、任务规划、流程控制、多轮对话和工具调用。典型能力包括ReAct、Plan-and-Execute、多Agent协作、工作流编排等。
工具协议层
负责连接企业内部系统,例如订单、库存、支付、客服、工单、数据仓库等。这里可以引入MCP、OpenAPI、函数调用等机制。
数据与记忆层
包括短期会话记忆、长期用户画像、业务状态、知识库、向量数据库和结构化数据库。互联网企业往往数据量大、变化快,需要设计清晰的数据边界。
安全治理层
包括权限控制、数据脱敏、内容安全、审计日志、限流熔断、人工兜底等。AI系统进入生产环境后,治理能力决定其能否稳定运行。
在企业级落地时,模型服务与AI原生应用开发可依托千帆大模型平台等企业级平台。数据管理、模型训练、推理部署等环节也可纳入统一工具链。企业级服务入口通常还会提供推理、应用、密钥与调用监控等能力。
LLM是Agent的“大脑”,负责理解用户意图、生成回复、选择工具、总结结果。选型时不能只看参数规模,还要关注:
Planning决定Agent如何完成复杂任务。常见方式包括:
例如,在电商客服场景中,Agent可以先判断用户问题类型,再决定是查询订单、调用退款接口,还是转人工客服。
Memory决定Agent能否记住上下文。通常分为:
互联网企业尤其需要区分“会话记忆”和“业务记忆”。会话记忆可以短期保存,业务记忆则必须写入可靠的数据存储,避免模型幻觉导致错误操作。
Tool Use让Agent从“只会聊天”变成“能办事”。常见工具包括:
工具越多,Agent能力越强,但权限和治理难度也会上升。因此,工具调用必须配合权限控制、参数校验和审计日志。
在Agent工程化过程中,MCP和Skills是两个容易混淆但非常重要的概念。
MCP,即Model Context Protocol,是AI模型与外部工具、数据源之间的标准化连接协议。它解决的是“怎么连接”的问题。
可以把MCP理解为“AI时代的USB-C接口”:每个AI应用只需实现一套MCP客户端,每个工具只需包装成一个MCP服务器,从而将原本N×M的集成复杂度降低为N+M。
MCP已于2025年12月捐赠给Linux基金会旗下的Agentic AI Foundation,即AAIF,进行中立治理。这意味着MCP正在从单一厂商生态走向更开放的标准协作。
Agent Skills是技能的标准化打包规范,定义技能的元数据、输入输出格式、使用说明、适用场景等。它解决的是“技能长什么样”的问题。
如果说MCP负责“连接工具”,那么Skills更偏向“描述能力”。例如,一个“订单查询技能”可以说明:
| 维度 | MCP | Skills |
|---|---|---|
| 核心问题 | 怎么连接 | 技能如何定义 |
| 类比 | USB-C接口 | 技能说明书 |
| 工程产物 | MCP Server、MCP Client | Skill包、元数据、使用说明 |
| 主要作用 | 传输与调用 | 定义与发现 |
| 适用场景 | 工具接入、数据源连接 | 能力复用、Agent技能管理 |
在工程实践中,MCP负责传输和调用,Skills负责定义和发现。两者不是替代关系,而是互补关系。
Agent可以结合订单系统、物流系统和退款政策,完成问答、查询、售后建议等任务。对于高风险操作,例如退款、改地址、取消订单,应设置人工确认或规则校验。
在营销、电商、社区场景中,Agent可以辅助生成文案、图片说明、短视频脚本,并调用内容审核工具进行合规检查。
Agent可以连接日志系统、监控系统和工单系统,帮助研发人员定位问题、生成排查建议、汇总故障信息。
Agent可以调用数据查询工具,生成经营日报、用户分群分析、活动效果复盘等。但涉及关键业务决策时,应保留人工审核。
优先选择高频、可评测、风险可控的场景。例如客服问答、知识检索、工单摘要、商品推荐解释等。
模型选型需要综合评估效果、成本、延迟、上下文长度、工具调用能力和合规性。企业可以通过百度智能云词元所了解不同模型的能力特点、价格对比和接入方式,辅助进行选型评估。
统一API接入层可以降低多模型切换成本。企业需要管理模型密钥、调用配额、失败重试、日志记录和计费统计。
对于需要频繁调用的内部API,可以封装为MCP Server。例如:
将高频能力封装为Skills,例如“订单摘要”“退款资格判断”“故障根因分析”“营销文案生成”等。Skills应包含清晰的使用说明和输入输出规范。
建议将会话ID、用户ID、业务单号、任务状态分开管理。短期上下文可以放在会话缓存中,长期业务状态应写入数据库或业务系统。
评测应覆盖:
上线后需要持续监控调用量、失败率、Token消耗、用户反馈和异常行为。在Agent应用调试与发布环节,可参考千帆AppBuilder相关实践。
下面是一个简化的Agent工具调用循环伪代码:
messages = [{"role": "system", "content": "你是电商客服助手,可以查询订单和物流。"}]while True:resp = llm.chat(model="chosen_model",messages=messages,tools=tool_schema)if not resp.tool_calls:breakfor call in resp.tool_calls:result = mcp_client.call_tool(name=call.name,arguments=call.arguments)messages.append({"role": "tool","tool_call_id": call.id,"content": str(result)})messages.append({"role": "assistant","content": resp.text})
该示例表达的是Agent的基本执行逻辑:模型先判断是否需要调用工具,如果需要,则通过MCP客户端执行工具,再将结果返回给模型继续推理。
AI增强架构上线后,成本通常来自模型调用、工具调用、数据存储和运维监控。优化方向包括:
模型路由
简单任务使用低成本模型,复杂任务使用高能力模型。
上下文压缩
对长对话进行摘要,减少不必要的Token消耗。
缓存复用
对高频问答、相似请求和稳定结果进行缓存。
工具返回裁剪
避免将过大的数据库结果直接返回给模型。
批处理与异步任务
非实时任务可以异步执行,降低峰值压力。
调用监控
通过词元所模型服务相关能力,企业可以更清晰地了解模型调用情况,并进行成本评估与调用管理。
互联网企业落地AI Agent时,应重点建设以下治理能力:
面向互联网企业的AI增强架构,不是简单接入一个聊天模型,而是构建一套可编排、可调用、可记忆、可治理的Agent系统。企业需要以“Agent = LLM + Planning + Memory + Tool Use”为核心框架,结合MCP解决工具连接问题,结合Skills解决能力定义问题,并通过统一模型接入、成本优化和安全治理,推动AI应用从试点走向生产。