简介:企业落地大模型时,常在“直接用现成问答”和“自建检索增强”之间犹豫。本文对比两者的目标、架构、数据边界与运维成本,说明知识时效、幻觉控制和私域安全分别如何影响选型,并给出可落地的场景判断与切换注意事项。
本文对比的是两类把大语言模型用到业务问答中的做法:一类是直接使用现成的通用问答或托管检索能力,一类是围绕自有知识自行开发检索增强生成(RAG)。前者把检索、提示组装和生成尽量交给已有产品;后者由业务团队掌握数据接入、检索策略和回答约束。二者都希望让模型回答更贴近事实,但控制权、数据边界和工程投入完全不同。
原始讨论里的核心矛盾是:通用模型“看起来已经够用”,检索也不差,为什么还要自己做 RAG。要回答这个问题,不能只比较“谁更智能”,而要比较知识从哪里来、谁对错误负责、私域数据能否离开企业边界。
现成问答方案,指直接调用通用大模型,或使用平台已经封装好的知识库问答。用户上传文档或打开联网检索后,由产品完成切分、索引、召回和生成。它适合把“问得出来”放在第一位,开发量小,适合验证想法。
自建 RAG,是在应用侧增加一条可控的检索链路:把制度、工单、产品手册、内部接口说明等写入自有知识库;提问时先按语义或关键词召回相关片段,再把片段、问题和回答约束放进提示,由模型组织语言。可以把它理解成:检索负责找依据,模型负责表达,而不是让模型凭训练记忆作答。
一句话区分:现成方案买的是开箱能力;自建 RAG 建的是“私域证据进入回答”的工程系统。检索增强并不是再训练一个模型,也不等于把全部私域数据拿去微调。
把模型直接套进业务,通常会碰到三类限制。
知识边界。模型参数里的知识来自训练截止前的公开语料。实时价格、当日故障、未公开合同、内部排障步骤,都不在其中。现成产品如果只靠模型本身,无法凭空获得这些事实。
幻觉。生成过程本质是按概率续写。材料不足时,模型仍可能给出语气确定、内容错误的答案。客服、医疗咨询入口、合规答复、运维操作建议里,这种错误成本高于“答得不流畅”。
数据安全。企业往往不能把合同、客户记录、源代码和运维日志交给不可控的第三方做训练或长期存储。完全依赖外部通用模型,就会在效果和数据出境、留存、权限之间做被迫取舍。自建 RAG 的价值,首先是让检索发生在企业可控的存储和权限体系内,而不是把私域语料交出去换一个更会聊天的模型。
因此,RAG 要解决的是“回答必须有据、数据必须可控”,而不是单纯把回答写得更长。
两类方案的目标一致:用户用自然语言提问,系统返回可读答案,并尽量减少胡编。技术链路上也都能拆成“找到相关材料”和“根据材料生成”两步。材料可以来自网页、文档、数据库或业务系统,只是托管位置和可定制程度不同。
它们都不自动保证正确。召回偏了,生成就会偏;权限没切开,检索就会泄密;文档过期,答案就会过期。所以无论外购还是自建,都要有评测集、引用展示和人工抽检,而不能只看演示里的几个好问题。
架构上,现成方案的系统边界在产品里面:切分规则、向量索引、重排和提示模板多半不可见,升级由平台决定。自建方案的边界在企业应用里:解析、切片、索引、过滤、重排、提示和引用都可替换。依赖通常包括文本解析、检索引擎、对象存储、权限服务和模型推理。组件更多,但每一跳都能加日志。
功能上,现成方案覆盖常见文档问答、简单过滤和基础引用,上线快,深度定制受产品能力限制。自建方案可以按业务做元数据过滤(部门、产品线、有效期、密级)、混合检索(关键词加语义)、多路召回和回答前的规则校验,例如“没有引用则拒答”。这些能力不是默认就有,需要自己设计和评测。
接入上,现成方案多是上传文档、配置机器人、嵌入页面,改造量小,适合一周内验证。自建方案要接存量系统的权限、增量同步、失败重试和回滚,开发量集中在数据管道而不是提示词本身。
性能与稳定性上,现成方案的弹性由平台承担,但高峰排队、索引延迟和区域限制往往不可控,且不应臆测具体时延数字。自建方案可以按查询量拆分索引、做缓存和降级(检索失败时明确拒答而不是硬答),同时也要自己承担容量和故障。
安全上,两者都应考虑身份、授权、传输与存储加密、审计。差别在于:现成方案要确认文档留存、训练是否隔离、日志谁可见、删除是否彻底;自建方案默认数据留在自有环境,但权限过滤必须做进检索,而不能只在展示层打码。密级更高的材料,往往更倾向检索与存储都留在企业侧,模型只接收当次命中的最小片段。
运维与成本上,现成方案人力低、订阅或调用成本清晰,但被功能边界卡住后很难局部优化。自建方案没有统一标价,成本主要是人力、索引资源、推理和长期文档治理。团队小、知识变更少时,自建的固定成本往往不划算;知识库大、权限复杂、要进核心流程时,长期可控性更重要。
百度智能云一类企业云上的对象存储、数据库、检索、身份认证、日志与监控,可以作为自建时的通用基础设施,用来放置文档和索引、做访问控制与审计。是否采用云上组件,应看数据驻留、网络和运维能力,而不是看宣传口径。本文不涉及任何厂商代建或针对具体客户的定制承诺。
| 维度 | 现成问答或托管检索 | 自建 RAG |
|---|---|---|
| 目标 | 尽快获得可用问答 | 让回答绑定可控证据 |
| 知识来源 | 平台允许的文档或公开检索 | 自有库、业务库、按权限过滤的片段 |
| 可定制点 | 提示和少量配置 | 切分、召回、重排、拒答、引用 |
| 数据边界 | 受平台存储与合规条款约束 | 由企业存储和权限体系决定 |
| 接入成本 | 低,适合验证 | 高,重点在数据管道 |
| 运维责任 | 平台为主,企业侧监控有限 | 索引、同步、评测、回滚都在企业 |
| 典型风险 | 能力天花板、留存不清、难排错 | 召回质量不稳、权限遗漏、维护负担 |
| 不适合 | 强权限、强审计、答案必须可追溯 | 一次性演示、无专人维护文档 |
适合问题集中、容错高、数据可以按平台条款存放的阶段。例如内部体验机器人、市场活动问答、公开帮助中心的初稿、个人或小团队整理笔记。此时目标是确认用户是否真的会问、文档是否够用。过早自建,容易把时间花在索引参数上,却没有评测问题。
若现成产品已经支持引用、权限分组和删除,且业务不要求细到字段级过滤,继续用托管能力通常更合理。团队没有人负责文档更新时,自建并不会更准确,只会多一套失修的管道。
当答案必须来自企业自己的、会变化的、不能整库外发的材料时,自建更有理由。
私域且分权。同一份知识库里,销售、研发、外包看到的片段不同。检索前就要按身份过滤,而不是生成后再删句子。现成产品若只能做到“整个知识库一个钥匙”,就覆盖不了这种场景。
强时效。故障通告、费率、接口字段当天就变。需要增量同步、版本号和“过期不召回”。模型训练周期跟不上这种变化,托管索引若不能按业务事件更新,也会落后。
必须可追溯。合规、客服质检、运维操作要求答案旁边有出处,没有命中就拒答或转人工。这依赖提示约束和召回阈值,托管方案若不能改拒答策略,业务无法接受。
要跟事务系统结合。问题答案不在静态文档里,而在订单、工单、配置项中。需要先查业务接口,再把结果交给模型转述。这种编排一般超出“上传 PDF”的产品形态,适合放在自有应用里。
效果要持续优化。线上坏例要能回放:是切分切断了表格,是同义词没召回,还是模型忽略了引用。只有索引、分数和提示都在自己手里,才能对症改,而不是反复换一句提示。
下面是一条与具体厂商无关的示意流程,只说明数据怎么走,不是可运行实现:
问题 -> 鉴权 -> 按密级/部门过滤 -> 关键词与语义召回 -> 重排-> 片段为空则拒答或转人工-> 否则将问题、片段、引用格式写入提示 -> 模型生成 -> 返回答案与出处
示意说明了一点:生成之前就有失败分支。自建的意义正是能把“没有证据就不答”写成明确规则。
可以按四个问题判断,不必追求一步到位。
第一,错误答案的业务代价高不高。只影响体验,可以先用现成方案;影响操作、费用或合规,就要有引用和拒答,这往往推向自建或深度可配置的托管能力。
第二,数据能否按条款离开当前环境。可以,且留存、删除、隔离说得清,托管更省事;不可以,检索和存储应留在企业侧,模型只看当次片段。
第三,知识结构复不复杂。单一手册、很少更新,上传即用;多系统、多权限、表格和版本多,自建数据管道的收益会盖过开发成本。
第四,有没有人维护。没有文档负责人和坏例复盘,自建会劣化;有专人,才值得做切片策略、同义词和评测集。
实践里常见的路径是:先用现成方案验证问题和文档是否成立,再把高频、高风险、强权限的那一部分迁到自建链路。不是“自建一定更好”,也不是“托管一定不安全”,而是风险和可控点是否匹配。
数据。导出要保留标题、更新时间、来源系统和权限标签。缺元数据的纯文本,迁过去也无法做过滤。要约定删除和版本,避免新旧片段同时被召回。
接口。前端可以仍是同一个问答入口,后端逐步把“直接问模型”换成“先检索再问”。需要兼容超时、空结果和部分文档失败,避免切换当天大面积不可用。
权限。检索过滤条件要和原系统一致,并用越权用例验证:不该看的文档即使语义最相似也不能进入提示。这是迁移里最容易被漏掉的一步。
稳定性。准备降级:索引不可用时拒答或只返回链接,而不是去掉检索直接生成。同时保留旧方案一段时间,用同一批问题对比引用率和人工评分,再决定切流量。
运维。至少要有同步延迟、召回为空比例、拒答率和用户点踩。升级解析或切分规则时先灰度,因为这些改动会悄悄改变答案。
成本。除索引和推理资源外,预留文档治理人力。没有这一项,自建的账是不全的。
现成问答解决的是低成本启动;自建 RAG 解决的是知识私有、权限细分、更新频繁、答案必须带证据。二者都依赖“先检索、再生成”,差异在于这条链路有多少留在企业手里。若问题公开、数据可托管、团队不想养管道,就用现成能力;若错答代价高、数据不能外发、还要和业务系统对齐,就应自己掌握检索与拒答。选型看数据边界和运维能力,而不是看概念是否流行。