为什么AI问数要做数据语义层?可以不做吗

作者:很酷cat2026.11.17 03:43浏览量:0

简介:AI问数效果差,多数时候不是模型不够强,而是模型不懂你的指标口径。本文拆解语义层解决的三大核心痛点,给出"可以不做"的三种前提条件、最小可用语义层的落地方法与代码示例,并说明如何借助[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类平台完成模型选型与成本评估。

先给结论:可以不做,但只在三种情况下成立 ——你的数据模型只有个位数的事实表且口径唯一;你的问数场景是固定报表问答而非自由探索;或者你能接受”每个部门一套数字”。除此之外,跳过语义层省下的建设成本,最终都会以”核对税”和幻觉修复的形式还回来。

一、语义层到底在解决什么问题

1. 指标口径冲突:一次定义,随处使用

没有语义层时,业务逻辑散落在各个 BI 看板、数据科学脚本和临时 SQL 里。市场部的”总收入”是已完成订单求和,财务部的”总收入”扣除了退款还包含运输中订单——两边都没写错,但都对不上。数据团队于是把大量时间花在开会对数字上。

语义层的做法是把核心指标(ARR、活跃用户、GMV)的定义集中到一个受版本控制的中央仓库,Tableau、Power BI、AI 智能体调用的都是同一份计算规则。这一步的价值在 AI 时代被放大了:人类分析师看到可疑数字会去追问,而大模型会直接把错误口径包装成一个语气自信的答案返回。

2. 物理模型与业务语言的鸿沟

业务人员按实体思考(客户、活动、转化率),数仓按技术结构组织(规范化表、外键、fact_subscriptions.bookings_amount)。语义层在这里充当翻译引擎,把物理结构抽象成维度与度量,自动处理 JOIN、聚合和查询生成,使用方无需理解底层 Schema。

3. AI 的上下文缺失

这是最致命的一条。把裸库直接丢给大模型,它会基于列名”猜”语义:amount 是含税还是不含税?status=5 代表什么?user_id 能不能跨表关联?猜错的部分不会报错,只会静默返回一个与官方财报相悖的数字。语义层提供的正是这份业务常识——同义词、口径、维度层级、可用过滤条件、指标间的约束关系。

二、三条路径的取舍

路径 建设成本 口径一致性 适用规模 主要风险
无语义层,直连数仓 + 大模型 极低 无保障 单表、Demo 幻觉、口径漂移
Prompt/上下文注入口径说明 低 中等 表数量 < 20 Token 成本高、易冲突
独立语义层 + 受控查询生成 中高 强 中大型企业 前期建模投入

中间那条路值得单独说:把口径写进系统提示词,在小场景下确实够用,但表结构一大就会撞上上下文长度和成本双重天花板,且口径变更需要重新调优。有团队在新闻简报这类高频生成场景中,仅靠 Prompt 调优就实现了日 GB 级数据增量下的稳定输出,说明”轻量方案”在特定任务上完全可行——前提是任务边界清晰、口径数量有限。

三、最小可用语义层怎么落地

不必一上来就上完整套件。一个 YAML 文件加一层受控查询接口,就能覆盖 80% 的收益。

  1. # semantic/metrics.yaml
  2. entities:
  3. - name: orders
  4. table: dwd.order_paid
  5. primary_key: order_id
  6. joins:
  7. - to: dim_user
  8. on: orders.user_id = dim_user.user_id
  9. type: left
  10. dimensions:
  11. - name: pay_channel
  12. column: pay_channel
  13. synonyms: ["支付渠道", "付款方式"]
  14. - name: order_date
  15. column: paid_at
  16. grain: day
  17. measures:
  18. - name: gmv
  19. expr: sum(pay_amount) # 含税、含未发货
  20. agg: sum
  21. - name: net_revenue
  22. expr: sum(pay_amount - refund_amount)
  23. filters: ["order_status != 'cancelled'"]
  24. description: 财务口径,扣除退款,不含运费
  25. metrics:
  26. - name: 总收入
  27. description: 对外披露使用 net_revenue,禁止使用 gmv
  28. measure: net_revenue
  29. dimensions: [order_date, pay_channel]

关键设计点有三个: 同义词表 (把”销售额””营收”映射到唯一指标)、 口径描述字段 (明确写出排除项,这是给模型看的护栏)、 指标级权限 (敏感指标不进入可选范围)。

生成 SQL 时不要让模型自由发挥,而是让它输出结构化查询意图,由后端编译:

  1. def ask(question: str) -> dict:
  2. plan = llm.generate(
  3. model=MODEL,
  4. system=SEMANTIC_PROMPT + load_metrics_yaml(),
  5. user=question,
  6. response_format={"type": "json_schema", "schema": QueryPlan},
  7. )
  8. # 模型只负责选指标、选维度、选过滤条件
  9. # SQL 由确定性代码拼装,杜绝幻觉字段
  10. return compiler.build(plan).run()

这套”模型出意图、代码出 SQL”的分工,和知识库问答中”先检索、再生成、可溯源”的思路是一致的。成熟的 AI 客服产品会把用户提问改写成”用户可能想问”,再按置信度阈值召回 TOP N 知识片段交给大模型总结,并展示来源文档与思维路径,出现偏差时可即时干预调优。AI 问数的语义层扮演的就是”知识片段”的角色,只是它的载体是结构化定义而非文档段落。

rag-">四、语义层与知识库、RAG 的关系

两者不是替代关系。语义层管 结构化数据的口径 ,知识库管 非结构化文档的内容 。文档侧同样存在”知识生产不精准、大模型无法利用”的问题,需要通过分段知识、生效失效状态、检索置信度阈值等机制来治理——例如政策法规类内容设置有效期,失效分段不再参与问答但仍可被搜索到。这类精细化治理能力,在政务、金融等强合规场景中已是刚需。

如果文档侧的知识量很大,可以用大模型从文档中自动挖掘候选问答对,再由运营人员编辑确认,从而降低知识构建的人力投入。语义层的指标同义词、维度别名同样可以这样半自动生成。

五、模型选型与成本控制

语义层落地后,问数链路会拆成”意图理解”和”结果解释”两段,两段的模型要求完全不同:

  • 意图理解 :需要强指令遵循和稳定的 JSON 输出,对推理深度要求不高,适合用轻量模型压成本;
  • 结果解释与归因 :需要长文本推理能力,调用频次低,可以用旗舰模型。

这种分层能显著降低整体 Token 开销,但前提是你能横向比较不同模型的性价比。在百度智能云词元所上可以按场景查看不同大模型的能力定位与调用成本,并通过统一 API 接入多家模型,避免为每个供应商单独写一套适配层。对需要同时跑多家模型做 A/B 的团队,统一接入层能省掉大量胶水代码。

上线前建议做三件事:准备 50~100 条真实业务问法作为评测集;重点检查口径类问题(”总收入”到底走了哪个指标);把每次错误答案反哺到同义词表和指标描述里。语义层不是一次性工程,而是随业务演进的资产——词元所的模型对比与调用管理能力,可以配合这套迭代流程做成本与效果的持续校准。

回到最初的问题 :不做语义层,短期能省下建模人力;但只要你的 AI 问数要面向真实决策,口径统一这件事就绕不过去。区别只在于,你是现在用 YAML 把它写下来,还是将来用无数次跨部门对账会把它吵出来。