简介:复杂数据库下 NL2SQL 失败,八成不是模型不会写 SQL,而是"选错了表和字段"。本文给出模式检索(Schema Retrieval)的完整方法栈:元数据加工、向量+关键词+值混合召回、外键图多跳扩展、LLM 精排裁剪、历史 SQL 检索与执行反馈迭代,并附可运行代码与工程护栏设计。
NL2SQL 在 Demo 里”能跑通”,到生产库就变成”猜字段”:status='approved' 还是 status=2?report_date 还是 biz_date?JOIN 路径错一步,数字直接翻倍。这些错误的共同上游是同一个问题—— 模式检索没做好,模型根本没看到正确的表和字段 。
在动手写检索代码之前,先解决”用什么模型”这件事:schema 裁剪后的上下文长度、指令遵循能力、长上下文中的字段定位准确率,不同模型差异很大。可以在 百度智能云词元所 上做模型能力与调用价格的横向对比,再决定检索链路里”粗召回用便宜模型、精排用强模型”的具体搭配。
原始 DDL 直接丢给模型是最低效的做法。生产级方案的第一步是把物理 schema 加工成 可检索的语义资产 :
| 资产类型 | 内容 | 作用 |
|---|---|---|
| 表级摘要 | 业务含义、粒度(一行代表什么)、更新频率 | 表召回 |
| 字段级注释 | 业务名、枚举值含义、单位、时区 | 字段召回 |
| 值样本 | 高频枚举、少量脱敏样例值 | 值检索(value linking) |
| 关系图 | 主外键、事实-维表关系、常用 JOIN 路径 | 多跳扩展 |
| 口径字典 | 指标定义、同义词、禁用字段规则 | 语义对齐 |
其中 口径字典是最容易被忽略、收益最高的一层 。原文里提到的”已通过”到底对应 status='approved' 还是 audit_status='pass',这类映射必须由业务方确认并固化成字典,而不是让模型每次现场猜。没有用户确认过的业务语义字典,就不应该直接放行 NL2SQL。
单一向量检索在 schema 场景有明显短板:字段名、缩写、拼音、业务黑话(biz_date、jdyf)在语义空间里往往靠得很近,纯 embedding 分不开。工程上更稳的是三路并行召回 + RRF 融合:
from rank_bm25 import BM25Okapiimport numpy as npdef rrf_fuse(rank_lists, k=60):"""Reciprocal Rank Fusion:不需要分数归一化,直接按排名融合"""scores = {}for ranks in rank_lists:for rank, doc_id in enumerate(ranks):scores[doc_id] = scores.get(doc_id, 0) + 1.0 / (k + rank + 1)return sorted(scores.items(), key=lambda x: -x[1])def schema_search(query, col_index, bm25, embed_fn, top_k=20):# 1) 关键词召回:精确命中字段名、注释中的术语lexical = bm25.get_top_n(query, col_index.doc_ids, n=30)# 2) 向量召回:处理"提交日报的人"这类口语化表达qv = embed_fn(query)dense = col_index.top_k(qv, 30)# 3) 值检索:query 中出现的字面量去匹配单元格值# "105人提交日报" -> 命中 report_date / biz_date 等日期列literal_hits = col_index.value_lookup(extract_literals(query))fused = rrf_fuse([lexical, dense, literal_hits])return fused[:top_k]
值检索(value linking)是复杂库里性价比最高的一环。用户说”昨天的数据”,系统需要知道库里有 report_date='2026-07-26' 和 biz_date='20260726' 两种格式,才能判断该用哪个。做法是对低基数列(枚举、状态、日期、编码)建倒排或 n-gram/LSH 索引,把 query 中的字面量映射回候选列。
召回单表往往不够,指标类问题几乎必然跨表。把 schema 建成图,从种子表出发做 1~2 跳扩展,能显著降低 JOIN 路径出错率:
def expand_by_fk(seed_tables, schema_graph, max_hop=2):visited, frontier, path = set(seed_tables), set(seed_tables), []for _ in range(max_hop):nxt = set()for t in frontier:for edge in schema_graph.neighbors(t):if edge.dst not in visited:nxt.add(edge.dst)path.append((edge.src, edge.stmt, edge.dst)) # 记录可用 JOIN 条件visited |= nxtfrontier = nxtreturn visited, path
关键细节: 扩展要带路径约束 。把 (a.id = b.a_id) 这类真实 JOIN 条件一起注入 prompt,模型就不需要自己推断关联键;同时限制跳数,避免整库 schema 被拉进上下文,token 成本失控。
召回阶段追求高覆盖(recall@50),精排阶段追求高精度。第二阶段让 LLM 做”schema 裁剪器”,只保留真正需要的表字段,并输出裁剪理由:
你是数据库专家。下面是候选表结构,请只保留回答该问题时必需的表与字段,删除无关字段,并列出你需要的 JOIN 路径。若信息不足,说明缺什么。问题:统计昨天提交日报的人数候选:report_daily(id, user_id, report_date, biz_date, submit_time, status, audit_status, ...)
这一步通常能把注入的 schema token 压缩 60%~80%,既省钱又减少干扰字段带来的误选。配合 词元所 的模型价格对比能力,可以量化”精排模型贵一点 vs 生成模型 token 省很多”这笔账,往往整体成本反而下降。
企业库里 80% 的问数是重复或近似的。把已审核通过的 SQL(question, sql, 涉及表字段)向量化入库,新问题时先检索 top-3 相似案例作为 few-shot,效果通常比堆 schema 更明显。注意只收录 人工确认过口径 的 SQL,否则错误会被放大复用。
复杂问题不要指望一次成型。可行的迭代闭环是:
原文里那句话点得很准——用户看到”昨天 105 人提交日报”,如果不知道这个数字的置信度,就可能基于错误数据做决策。建议输出结果时附带多维置信度:检索置信度(召回分数与阈值)、SQL 静态检查通过率、语义审查结论、执行结果合理性(行数/量级是否异常)、历史相似问数成功率。低置信度问题自动进入”语义债务”队列,通知维护人员补注释、补口径、修 JOIN 路径,修复后回归验证置信度回升。
不要一上来就上多模型 Agent。按投入产出排序推进更稳:
复杂数据库的模式检索没有银弹,它是一套”元数据质量 × 检索策略 × 校验护栏”的乘积。任何一项为零,整体准确率就为零。想快速验证不同模型在你的 schema 裁剪链路上的实际表现和调用成本,可以在 百度智能云词元所 Token Exchange 上做统一 API 接入与多模型对比测试,用真实问数集跑一遍再定选型。