简介:企业AI智能体在制度问答、业务查询等场景中经常出现“答错”“答偏”或“数据不一致”的问题。本文从RAG知识库、ERP/CRM业务数据、主数据对齐和权限体系四个维度,系统解释AI智能体为什么会答错,以及如何从架构层面理解并减少这类错误。适合企业开发人员、技术选型人员与业务系统负责人阅读。
企业AI智能体通常被部署在制度咨询、合同问答、业务数据查询、审批辅助等场景中。它需要根据用户提问,从企业知识、业务记录、组织信息中查找相关内容并生成答案。很多团队在初期会认为,只要把企业文档“喂给”大模型,或者接入一个检索增强生成系统,智能体就能准确回答大部分问题。
但实际落地后,智能体经常出现几类典型错误:
这些错误通常不是大模型“不够聪明”造成的,而是因为企业AI智能体在知识获取、实时数据访问、主数据一致性和权限控制四个层面存在结构性缺陷。
企业AI智能体并不是一个孤立的问答模型。它本质上是一个“模型加数据上下文”的系统。模型负责理解问题、推理和生成语言,数据上下文决定模型能基于什么信息作答。
在企业环境中,数据上下文通常由四类来源共同构成:
如果这四个层面中的任何一个出现偏差,智能体都可能给出错误答案。理解这一点,是理解企业AI智能体答错原因的关键。
RAG是检索增强生成的缩写。它的基本思想是:先从知识库中检索与问题相关的文档片段,再把这些片段作为上下文交给模型生成答案。
RAG知识库通常适合存放变化频率较低的知识,例如:
但RAG本身并不保证“检索到的内容一定正确”。常见问题包括:
制度文档更新后,如果知识库没有同步更新,或者旧文档仍然参与检索,智能体就可能依据过期条款作答。例如报销标准从每天300元调整为每天400元,但旧版制度仍被检索到,答案就会出现错误。
RAG通常将文档切分成片段进行索引。如果切片粒度过粗,检索结果可能包含大量无关内容;如果切片粒度过细,可能丢失上下文。例如合同中的“付款条件”与“违约责任”被切到不同片段,智能体只检索到付款条件,就可能遗漏与违约相关的限制条款。
RAG检索通常依赖向量相似度或关键词匹配。相似度高的片段不一定就是“当前有效”或“适用于该场景”的片段。模型可能检索到旧版本制度中语义相似但已经不再适用的内容。
ERP和CRM系统保存的是企业当前业务运行数据,例如:
这类数据的特点是变化频繁、强时效、强业务上下文。AI智能体如果通过离线同步、定时抽取或缓存方式获取数据,就可能产生滞后。
例如用户问“某客户当前欠款是多少”,如果智能体读取的是前一天的数据快照,而当天上午刚发生一笔回款,答案就会不准确。
另一个常见问题是字段口径不一致。CRM中的“合同金额”与ERP中的“开票金额”可能含义不同。智能体如果混淆字段口径,就会把含税金额与不含税金额混用,导致结果错误。
因此,涉及实时业务数据的问题,不能只依赖RAG知识库。智能体需要具备访问当前业务记录的能力,并且必须明确数据的时间戳和口径。
主数据是企业在多个系统中共同使用的基础数据,例如客户、供应商、组织、人员、产品、科目等。主数据管理的目标是保证跨系统数据的一致性和唯一性。
当主数据不一致时,AI智能体可能发生“对象错位”。例如:
智能体在回答“某客户的订单情况”时,如果无法通过主数据将不同系统中的客户记录准确关联,就可能把另一个名称相似客户的数据当作当前客户数据返回。
主数据不一致还会影响权限判断。例如组织主数据不准确,可能导致智能体误判某用户所属部门,从而错误开放数据访问范围。
企业AI智能体通常通过两种方式访问数据:
如果智能体以服务账号身份访问数据,但未将用户级权限下推到查询逻辑中,就可能出现越权返回数据的情况。例如普通员工询问“公司平均薪酬”,智能体从数据仓库中查到该指标并返回,但该指标本应仅对HR角色可见。
权限问题还可能表现为:
权限体系不是简单的是否允许访问,而是需要贯穿数据源、知识库、检索结果、生成答案四个环节。任何一环缺失,都可能造成答案泄露或回答不完整。
下面用一个简化流程说明上述四类问题如何叠加导致答错:
用户提问:A客户的当前回款情况?步骤1:智能体从RAG知识库检索“回款管理规则”→ 检索到旧版制度,其中回款确认口径为“按到账日”步骤2:智能体访问ERP获取回款记录→ 读取的是前一晚同步的数据快照步骤3:智能体通过主数据匹配“A客户”→ 主数据中A客户存在两条记录,匹配到了错误的一条步骤4:权限校验→ 仅校验了用户是否有“回款查询”菜单权限,未校验用户是否有A客户的数据权限最终答案:返回了过期口径、旧数据、错误客户对象下的回款金额
这个流程中,每一步都没有明显的系统报错,但最终答案完全不可用。这也是企业AI智能体答错问题难以排查的原因。
制度、合同、说明文档属于知识型数据,适合进入RAG知识库;订单、库存、回款、工单等属于操作型数据,应从业务系统实时或准实时获取。两类数据不要混用同一条检索链路。
知识库应明确文档的生效日期、废止日期、适用组织范围。检索时应优先返回当前生效版本,并过滤历史版本或已废止文档。
智能体在回答涉及实时数据的问题时,应说明数据截至时间。例如“截至今日上午10时,A客户回款金额为……”如果无法获取实时数据,应明确提示数据延迟,而不是静默返回旧数据。
在接入多个业务系统前,应先完成关键主数据对象的映射,例如客户编码、组织编码、人员编码。智能体在查询时应使用主数据编码作为关联键,而不是依赖名称模糊匹配。
权限不应只在应用入口控制,而应下推到数据源查询、知识库检索、生成结果过滤等各层。对于敏感字段,应在生成答案前进行字段级过滤。
智能体每次回答时,可返回引用来源、数据时间、字段口径等信息。这样当答案出现问题时,用户可以快速定位是知识库、业务数据、主数据还是权限环节造成的问题。
RAG适合回答“制度怎么规定”“流程是什么”这类知识型问题;业务数据查询适合回答“当前某客户欠款多少”“某订单现在什么状态”这类操作型问题。企业AI智能体应具备路由能力,根据问题类型选择不同数据获取方式。
主数据描述的是对象本身,例如客户是谁、组织是什么;业务数据描述的是对象的行为和状态,例如客户买了什么、欠了多少钱。主数据错误会导致业务数据归属错误。
用户权限是指当前使用者可以看什么;服务账号权限是指智能体调用下游系统时使用的技术身份。两者需要结合使用。智能体不能只依赖服务账号权限,否则可能将高权限数据暴露给低权限用户。
在实际建设企业AI智能体时,需要注意以下几点:
企业AI智能体答错,往往不是模型能力问题,而是数据上下文的结构性问题。RAG知识库负责提供制度与知识,ERP、CRM提供当前业务记录,主数据负责对齐客户与组织,权限体系限制可访问范围。四者共同构成智能体的数据基础。任何一层出现偏差,都会反映在最终答案中。理解这一结构,是设计、排查和优化企业AI智能体的关键起点。