简介:本文对比两类构建知识图谱的元数据抽取路线:以标注数据训练的传统预训练小模型与规则抽取方案,以及以提示工程驱动的大语言模型(LLM)抽取方案。文章从建模范式、冷启动成本、泛化能力、输出可控性、吞吐与成本结构、长文档处理、可审计性与运维复杂度等维度展开分析,给出结构化对比表格、场景化选型建议与迁移注意事项,帮助开发者在"准确率优先"与"覆盖广度优先"之间做出条件化判断。
知识图谱本质上是用图结构表达信息的结构化数据库,由两类基本要素构成:节点(实体,如人物、地点、机构、事件)与边(关系,带方向、带标签)。它的底层表达是 SPO 三元组:
| 元素 | 作用 | 对应图谱组件 | 示例 |
|---|---|---|---|
| Subject(S) | 语句主体 | 节点 | Marie Curie |
| Predicate(P) | 主体与客体间的关系 | 边标签 | discovered |
| Object(O) | 语句客体 | 节点 | Radium |
因此”用文档构建知识图谱”这件事,真正的工作量并不在画图,而在把非结构化文本可靠地变成三元组与元数据。而在这个环节上,历史上长期存在两条截然不同的技术路线:一条是标注驱动的小模型路线(规则/词典 + 判别式预训练小模型做实体识别与关系分类),另一条是近几年才具备工程可用性、由大语言模型以零样本或少样本提示直接生成结构化输出的路线。
这个差异不是”新旧替代”这么简单。小模型路线在早期面临的核心困境是:有监督方法泛化性弱,效果高度依赖标注质量与数据规整度,换个领域、换个文档模板就要重新标注与重新训练,投入产出比在长尾场景急剧恶化。而 LLM 路线把”抽取能力”从参数里转移到了提示词与 Schema 定义里,代价则是输出结构化程度、幻觉风险与成本模型完全不同。下面逐项拆解。
方案A:标注驱动的判别式抽取(小模型 + 规则)
典型形态是:定义实体类型体系与关系类型体系 → 人工标注若干千至数万条样本 → 训练序列标注模型(实体识别)与关系分类模型(关系抽取),或使用”实体识别 + 关系分类”的流水线式(pipeline)架构 → 后处理规则做实体归一、别名合并与类型约束。文档级元数据(主题、类别、时间、关键实体摘要)通常由分类模型或关键词权重算法产出。
方案B:提示驱动的生成式抽取(LLM)
典型形态是:把 Schema 说明、实体与关系类型定义、少量示例、输出格式约束写进提示词 → LLM 直接输出 JSON 形式的三元组与元数据字段(实体名、实体类型、关系标签、原文证据片段、置信度)→ 由校验与归一模块做结构校验、去重与写图。
关于”元数据”的分层
两条路线处理的元数据其实是多层的,讨论差异时必须区分:
这个分层很重要,因为两条路线的优劣在不同层级上表现并不一致。
小模型路线把领域知识固化进权重:训练集里有”发现/发明/创立”这几种关系表述,模型就只会在这几种里选;遇到未见过的关系表述,倾向于归入最近似类别或漏召。它的输出空间是闭集,天然受限,但也天然稳定。
LLM 路线把知识放在上下文:修改实体类型定义、增补关系类型、补充反例,只需改提示词与 Schema 文件,无需重新训练。代价是”改提示词即改行为”,行为边界不如闭集分类清晰,需要用测试集做回归。
这是差距最悬殊的一项。小模型路线冷启动必须先有标注数据,标注规范制定、标注员培训、一致性校验(Kappa 一致性)都是隐性成本,且领域越专业,标注越依赖专家。
LLM 路线的冷启动成本主要变成:Schema 设计、示例挑选、格式约束调试、校验器开发。它允许”先上线跑通、再逐步收窄”的渐进式建设,对文档量不大但类型杂、或者暂时拿不到标注预算的团队更友好。但要注意,LLM 路线省下的是标注成本,不是评测成本——验收标准依然需要一份人工标注的黄金集。
小模型跨领域迁移通常需要重新标注与重新训练,文档模板变化(比如从传记文体换到财报或医疗记录)会明显掉点。
LLM 对领域词汇、句式变化和开放式关系的适应性更好,能通过提示词中的类型定义与少量示例快速切换领域,也更擅长处理原文中”未预料到”的关系表述。但它在高度专业化、术语密集、需要严格受控系统(如医疗编码、法规条款编号)的场景中,仍可能出现术语误映射与细粒度类型混淆,需要词典约束或后校验兜底。
小模型的输出天然受结构约束:类型受限、几乎不编造标签,结构化程度高,解析失败率低。
LLM 需要额外工程手段保证结构化:JSON 模式约束、字段必填校验、类型枚举校验、失败重试、证据句回填校验。更关键的是幻觉——LLM 可能生成原文中不存在的实体或关系。可行的缓解手段是强制要求输出原文证据片段(span),并对每个三元组做”证据是否支持关系”的二次校验或抽样复核。这意味着方案B 的真实工程质量,取决于校验层写得多厚,而不是提示词写得多漂亮。
小模型推理是本地/自建推理服务的稠密计算,单位成本低、延迟可预测、可横向扩容,适合亿级文档的批量离线处理。
LLM 推理成本结构不同:单价按 Token 计量,成本随文本长度与调用次数近似线性增长,且批处理时的并发上限受服务配额约束,延迟波动更大。因此 LLM 路线在工程上通常必须配合:分块策略优化、模板级结果缓存(同一文档/段落不重复调用)、语义去重前置过滤、批处理与异步队列削峰、必要时对小模型高置信度样本短路(只让疑难样本走 LLM)。在百度智能云等云平台上,这类流水线通常可以组合对象存储存放原始文档、消息队列做任务削峰、容器平台承载抽取与校验服务、数据库或图存储落库、日志与监控告警做可观测,具体资源规格需按自身文档规模做容量测算。
小模型在句内关系抽取上成熟稳定,但跨句、跨段关系需要额外的共指与篇章级建模,复杂度高。
LLM 受上下文窗口限制,长文档需分块,而分块会割裂跨段关系。常见做法是”块内抽取 + 文档级汇总”:先按语义段落分块抽取局部三元组与实体提及,再在文档级做一次实体合并与摘要式关系归纳(哪些实体共同出现、时间线如何、事件如何串联)。这个两阶段流程是两条路线都要面对的架构选择,但 LLM 的汇总步骤更容易实现,因为它天然擅长跨片段的语义归纳。
小模型可给出特征级线索(触发了哪条规则、哪类特征),便于问题定位与责任追溯。
LLM 的可解释性依赖提示词版本与证据回填:需要记录模型版本、提示词版本、随机性参数、输入片段与输出结果的对应关系,才能复现一次抽取。涉及敏感文档时,还要评估数据出域问题,明确脱敏、隔离与权限边界,优先选择支持私有化或专有环境的部署形态,并在日志中对原文做最小化保留。
小模型运维是传统 ML 运维:训练、评估、发布、监控数据漂移。
LLM 运维新增了几类问题:提示词版本管理(提示词是代码,要进版本库并做回归评测)、模型版本升级导致输出漂移、配额与限流、调用失败重试与幂等。图谱构建是幂等写还是覆盖写、同一文档重复抽取如何去重,都需要在流水线设计阶段就定下来。
| 对比维度 | 方案A:小模型 + 规则抽取 | 方案B:LLM 提示抽取 |
|---|---|---|
| 知识载体 | 模型参数与规则库 | 提示词与 Schema 定义 |
| 冷启动成本 | 高(需标注数据与标注规范) | 中低(需 Schema 与示例设计) |
| 领域迁移 | 通常需重标注重训练 | 调整提示词即可,切换更快 |
| Schema 演进 | 新增关系类型需改模型与训练流程 | 改定义与示例即可,回归靠测试集 |
| 输出结构稳定性 | 高,解析失败率低 | 依赖格式约束与校验层 |
| 幻觉/编造风险 | 低(闭集输出) | 需证据回填与二次校验兜底 |
| 长尾与开放关系覆盖 | 较弱,易漏召 | 较强,但需人工抽检控制精度 |
| 单位处理成本 | 低,适合超大批量 | 随 Token 与调用量增长,需缓存与筛选 |
| 延迟与弹性 | 稳定,易横向扩容 | 波动较大,受配额与并发限制 |
| 可解释与审计 | 线索直观 | 需提示词版本 + 证据链记录 |
| 运维重点 | 模型训练与漂移监控 | 提示词版本、重试幂等、配额管理 |
| 典型适用 | 高频、固定类型、超大规模离线抽取 | 类型多变、冷启动、跨领域、需要快速迭代 |
import json, hashlib# 1) Schema 定义与提示模板分离,便于版本管理与回归测试SCHEMA = {"entity_types": ["PERSON", "ORG", "LOC", "EVENT", "WORK"],"relations": ["discovered", "worked_at", "born_in", "awarded", "part_of"],}PROMPT_TEMPLATE = """你是信息抽取器。仅依据原文抽取,不得推测。实体类型限定为: {entity_types}关系类型限定为: {relations}输出 JSON 数组,每项包含: s, s_type, p, o, o_type, evidenceevidence 必须是原文中连续出现的片段。原文:{text}"""def chunk(text: str, size: int = 1500):for i in range(0, len(text), size):yield text[i:i + size]def validate(triples, raw_text):"""结构校验 + 证据校验:过滤幻觉与越界标签"""ok = []for t in triples:if t["p"] not in SCHEMA["relations"]:continueif t["s_type"] not in SCHEMA["entity_types"] or t["o_type"] not in SCHEMA["entity_types"]:continueif t["evidence"] not in raw_text: # 证据必须在原文中存在continueok.append(t)return okdef idempotent_key(doc_id: str, text: str) -> str:return hashlib.sha256(f"{doc_id}:{text}".encode()).hexdigest()def build(doc_id: str, text: str, llm_call):doc_triples = []for seg in chunk(text):prompt = PROMPT_TEMPLATE.format(entity_types=SCHEMA["entity_types"],relations=SCHEMA["relations"],text=seg,)raw = llm_call(prompt) # 由调用层负责限流、重试与缓存doc_triples += validate(json.loads(raw), seg)# 2) 实体归一:别名合并后再落图,避免同一实体裂成多个节点nodes = normalize_entities([t[k] for t in doc_triples for k in ("s", "o")])edges = dedup_edges(doc_triples, key=idempotent_key)# 3) 幂等写图:按 key 做 upsert,支持重复运行graph.upsert_nodes(nodes)graph.upsert_edges(edges, source=doc_id, schema_version=SCHEMA["version"])return {"doc": doc_id, "nodes": len(nodes), "edges": len(edges)}
代码的核心思想有三点:Schema 与提示模板解耦以便做版本回归;用证据片段回填作为反幻觉的第一道闸门;用幂等键与 upsert 保证流水线可重复执行。这三点与用哪种抽取器无关,是构建文档知识图谱流水线的公共工程底座。
小模型与 LLM 抽取文档元数据这件事,本质差异可以收敛为一句话:前者用标注成本换取结构稳定性与低单位成本,后者用推理成本换取 Schema 灵活性、跨领域泛化能力与更快的上线速度。相同点在于两者共享同一套 SPO 语义、同一套 Schema 治理规范、同一批实体消歧与质量评测难题。
决策思路建议按四个问题排序:抽取类型体系是否稳定?标注资源是否可得?文档规模与单位成本敏感度如何?错误代价与合规要求有多高?答案偏向”稳定、可得、海量、高代价”,判别式抽取更适合做主链路;偏向”多变、稀缺、异构、探索期”,LLM 更适合做主链路。而无论选哪条,把 Schema、评测黄金集与幂等写图先建起来,才是决定这张图谱最终能不能被真正查询、推理与可视化的关键。