RAG与Agent智能问答应用部署实践指南

一、部署概述

本文要部署的对象，是一套以大语言模型（LLM）为核心的智能问答助手应用，可以理解为“论文助手”一类系统：用户用自然语言提问，应用先检索知识库中的资料，再由模型结合检索结果与提示词模板生成有依据的回答，并能在授权范围内调用工具、多步推进复杂任务。

部署前需要先厘清三个概念在系统中的角色，因为它们直接决定架构设计与配置方式：

• Prompt（提示词）与提示词工程：属于应用层的输入设计能力，部署时体现为配置文件中的提示词模板与约束条件，决定模型“如何听懂要求”；
• RAG（检索增强生成）：属于检索层与数据层的能力，部署时需要准备文档解析、切分、向量化与检索服务，用于缓解模型输出“幻觉”、保证回答有据可依；
• Agent（智能体）：属于编排层的能力，部署时体现为工具注册、任务规划与权限边界配置，让系统从“一次问答”升级为“独立推进的多步任务”。

部署完成后的预期效果：服务可通过域名或API正常访问；用户提问后，系统返回带资料引用的回答，资料中未涵盖的信息会明确标注“未说明”一类的兜底表述；复杂任务可由Agent按步骤调用工具完成；整体具备健康检查、日志、监控与回滚能力。

适用读者：应用开发者、运维工程师、架构师，以及需要落地知识问答、文档助手、智能客服辅助等场景的企业技术团队。

二、部署场景与架构组件

2.1 典型部署场景

• 企业内部知识问答：将制度、文档、论文等资料建成知识库，员工提问后获得带出处的回答；
• 文档辅助阅读：上传论文或报告摘要，要求模型解释研究问题、方法与主要发现；
• 智能客服与工单辅助：结合工单历史与产品文档生成回复建议；
• 多步任务处理：Agent在授权范围内查资料、生成文件、汇总结果并输出报告。

这些场景的共同点是：模型训练知识存在时间截止问题，直接问答容易产生看似合理、实则缺乏依据的内容（即“幻觉”），因此“先检索、后生成”应作为此类应用的默认部署架构。

2.2 架构与组件拆解

一套可上生产的部署通常包含以下层次：

层次	组件	作用
接入层	负载均衡、API网关、证书	统一入口、HTTPS加密、路由与限流
应用层	应用服务、会话管理、提示词模板	承载业务逻辑，管理多轮对话
模型服务层	托管模型服务或自建推理环境	提供文本生成能力
检索层	向量数据库/检索引擎、向量化服务	文档切分、向量化与相似度检索
数据层	对象存储、关系型数据库、缓存	原始文档、会话记录、热点结果缓存
可观测层	日志、监控、告警、链路追踪	状态观测与异常定位
安全层	认证鉴权、密钥管理、访问控制	身份、权限与密钥治理

部署环境方面，可以选择云服务器自建，也可以使用容器服务托管。以百度智能云等云平台为例，其通常提供云服务器、容器服务、对象存储、数据库、日志服务与监控告警等通用能力，本文按通用云环境描述流程，具体产品能力以实际所用平台为准。

三、前置准备

3.1 资源规划

• 计算资源：应用服务一般CPU实例即可起步，建议2核4GB以上并预留扩容空间；若自建模型推理，则需按模型规模评估GPU规格，这是资源规划中弹性最大的部分；
• 存储资源：原始文档放对象存储，向量化数据放检索库，会话记录放关系型数据库，三者的容量与生命周期策略应分开规划；
• 网络资源：对外访问带宽与内网组件互联（应用到检索库、模型服务的链路）应尽量规划在同一内网，减少公网绕行带来的延迟与安全风险；
• 配额与限流：模型服务通常受调用配额约束，部署前应确认额度，并在应用侧设置并发上限、超时与重试策略。

3.2 环境与依赖准备

• 环境一致性：开发、测试、生产环境使用相同版本的应用镜像与依赖清单，配置通过环境变量注入，避免“测试能跑、生产报错”；
• 运行时与依赖：锁定语言运行时版本与依赖清单，应用统一容器化打包，形成可版本化、可回滚的镜像；
• 知识库数据准备：收集原始文档，完成格式解析、正文清洗、按语义段落切分，再调用向量化服务生成向量写入检索库。切分粒度直接影响检索质量，一般按几百字一段并保留少量重叠内容；
• 权限与密钥：为部署账号分配最小权限；模型服务密钥、数据库连接串等敏感信息统一放入密钥管理或加密配置，严禁写入代码仓库；
• 网络策略：配置安全组与内网互通规则，仅放行必要端口，对外服务统一走443端口并启用加密传输。

四、部署流程

整体顺序遵循“准备环境—构建上传—配置参数—准备数据—启动服务—开放访问—验证结果”：

步骤1：环境初始化。 创建云服务器或容器集群，划分内网子网并配置安全组；准备容器运行时与镜像仓库访问凭证。

步骤2：构建与上传应用。 将应用代码容器化构建为镜像，打上包含版本号与构建时间的标签后推送至镜像仓库，为后续回滚留好版本锚点。

步骤3：配置运行参数。 通过环境变量或配置中心注入：模型服务地址与密钥、检索服务连接信息、数据库与缓存连接、提示词模板标识、Agent工具清单与最大执行步数。

步骤4：知识库数据入库。 执行文档解析与切分任务，批量调用向量化接口，将向量与元数据（来源、标题、时间）写入检索库，并抽样验证检索命中率是否达标。

步骤5：启动服务并接入健康检查。 以编排方式启动应用，配置存活与就绪探针。通用配置示意如下（伪配置，字段以实际平台为准）：

service: qa-assistant
image: <镜像仓库地址>/qa-assistant:v1.0.0
replicas: 2
env:
  MODEL_SERVICE_URL: ${MODEL_SERVICE_URL}
  RETRIEVAL_ENDPOINT: ${RETRIEVAL_ENDPOINT}
  PROMPT_TEMPLATE_ID: paper-explain-v1
  AGENT_MAX_STEPS: 5
readinessProbe:
  path: /healthz
  initialDelaySeconds: 10
resources:
  requests: {cpu: "1", memory: "2Gi"}
  limits:   {cpu: "2", memory: "4Gi"}

步骤6：开放访问。 配置域名解析指向负载均衡，申请并挂载HTTPS证书，在网关层设置路由、限流与访问白名单。

步骤7：逐级验证。 按“服务可访问—单轮问答—检索命中—引用正确—Agent任务”的顺序完成验证，详见下文。

五、关键配置说明与风险点

• 提示词模板：应包含任务描述、输出结构、约束条件与兜底规则。例如明确“资料未提供的信息请标注‘未说明’，不要编造引用来源”，这是把幻觉治理落到配置上的关键一环；
• 检索参数：召回数量、相似度阈值、切分大小需在测试集上调优。召回过多会稀释上下文、拉高成本，过少则会漏掉关键依据；
• 模型调用参数：设置合理超时与重试次数，重试需配合退避策略并保证幂等，避免故障时流量放大造成雪崩；
• Agent边界：逐一注册工具并声明权限范围，设置最大执行步数与必要的人工确认点，防止任务失控或越权操作；
• 配置隔离：开发、测试、生产的密钥与连接串必须严格隔离，配置变更应走版本化流程并留存审计记录。

六、上线验证清单

1. 探针与进程状态：健康检查通过，实例数量符合预期，无重启循环；
2. 功能验证：以标准问题集做回归测试，回答结构与引用来源正确，无编造文献；
3. 检索质量：抽验问题能命中预期文档片段，命中率达标；
4. 链路与日志：调用链完整，错误日志无明显堆积，慢请求可定位到具体环节；
5. 监控指标：延迟、错误率、QPS处于基线范围内，模型token消耗与配额匹配；
6. 异常演练：验证限流、超时与降级逻辑在压力下按预期生效。

七、常见问题与排查思路

• 回答缺乏依据或编造引用：优先查看召回日志确认检索是否命中，再检查切分粒度与提示词约束是否到位；
• 检索服务连接失败：排查安全组与内网互通规则、连接串与账号权限、检索服务自身健康状态；
• 模型调用超时或限流：确认配额与并发设置，增加退避重试，必要时在网关层排队，或降级为“仅检索返回资料、不生成回答”的模式；
• 首字响应偏慢：分别评估向量化与模型推理耗时，为高频问答增加缓存，并控制上下文长度；
• 实例内存持续上涨：检查会话历史是否无上限累积，设置轮次与长度上限并及时释放。

八、运维与优化

• 监控告警：对QPS、P95延迟、错误率、模型调用失败率、检索命中率、token消耗设置阈值告警，异常时通知值班渠道；
• 知识库更新：建立文档增删改的定期同步与重新向量化流程，更新采用双库灰度方式，验证命中质量后再切换流量；
• 版本发布与回滚：镜像版本化、发布走灰度，始终保留上一稳定版本的镜像与配置快照，异常时可在分钟级完成回滚；
• 安全运维：密钥定期轮换、权限最小化定期复核、日志留存与审计，敏感数据在传输与存储环节均加密；
• 成本治理：模型调用是主要变动成本，可通过缓存高频问答、控制上下文长度、按场景选择模型规格降低消耗；对象存储设置生命周期规则清理过期文档，定期回收闲置资源与低利用率实例。

九、总结

本文以“论文助手”类智能问答应用为例，梳理了从概念到落地的完整部署路径：Prompt决定模型如何理解任务，RAG通过“先检索、后生成”保证回答有据可依，Agent让系统具备多步任务能力，三者分别对应应用层、检索层与编排层的部署组件。部署核心顺序为环境初始化、镜像构建、参数配置、知识库入库、服务启动、开放访问与逐级验证；上线后重点关注监控告警、知识库更新、版本回滚、安全治理与成本控制。掌握这条通用路径后，读者可以将其复用到文档助手、智能客服等各类AI应用的部署实践中。