VLM+向量检索：让AI读懂工程图纸的实践

作者：沙与沫2026.11.04 04:04浏览量：0

简介：工程图纸是制造企业研发的核心知识资产，但海量扫描图纸长期“存得起、看不懂、用不好”。本文系统介绍以视觉语言模型（VLM）理解图纸结构、以向量化检索精准定位相似图纸、以结构化知识库支撑复用的完整技术路径，并给出流水线设计、提示词示例与落地要点，助力研发业务提质增效。

一、为什么图纸智能化这么难

在装备制造、汽车零部件、能源化工等行业，企业经过多年积累，往往沉淀了数以万计甚至数十万张工程图纸。这些图纸多以扫描件、PDF或CAD导出图的形式存放在文件服务器中，形成了“存得起、看不懂、用不好”的尴尬局面，具体表现在三个层面：

1. 看不懂。 工程图纸不是普通文档，而是“图形+符号+表格+文字”的复合载体。一张典型图纸同时包含主视图、剖视图、局部放大图等多种视图，辅以尺寸线、公差框格、粗糙度符号等密集标注，外加标题栏、明细表（BOM）和技术要求文字。传统OCR按“行”识别文本的思路，面对这种强版式、强关联的载体几乎无能为力：它既分不清某串数字是尺寸还是图号，也理解不了剖视图与主视图之间的投影对应关系。

2. 找不准。 图纸检索长期依赖图号、名称等字段的精确匹配。一旦历史图纸字段缺失、录入不规范，或者设计者只记得“大概长什么样、用在哪个产品上”，检索就基本失效。大量图纸沉睡在文件夹里，新项目无法快速复用历史成果，重复出图、重复劳动屡见不鲜。

3. 用不好。 图纸中的BOM明细、技术要求、版本变更等信息无法被下游系统直接消费，工艺、采购、质量部门只能靠人工翻阅和转录；新旧版本比对、历史问题追溯也都依赖资深工程师的经验记忆。

三个痛点共同指向一个结论：图纸的数量优势并没有转化为知识优势。要让图纸资产真正服务于研发提效，必须让机器先“看懂”，再“找准”，最后“用好”。

二、总体技术路径：三层能力协同

业界当前较为可行的方案，是由三种能力串成一条完整流水线：

  • VLM视觉语言模型负责“看懂”：VLM具备图文联合理解能力，可同时处理版面布局、几何图形与文字标注，把非结构化的图纸图像转化为结构化字段和自然语言描述，突破传统OCR只能“认字”、不能“理解图”的局限。
  • 向量化检索负责“找准”：将图纸的图像特征、文本描述与结构化字段统一向量化，支持以文搜图、以图搜图、相似图推荐，让“凭模糊印象找图”成为可能。
  • 图纸知识库负责“用好”：以图号、名称、版本、材料、BOM等元数据组织图纸资产，配合权限管理和业务流程，让检索结果直接进入设计复用、变更比对、BOM提取等业务环节。

整条流水线可概括为：图纸入库 → 预处理 → VLM解析与抽取 → 向量化入库 → 混合检索 → 业务应用。在工程实现上，既可以基于百度智能云等云平台提供的多模态大模型、对象存储、向量检索等通用能力快速搭建，也可以在私有化环境中组合开源模型与自建向量库完成，架构思路是一致的。

三、VLM如何“看懂”图纸

VLM在图纸场景中主要承担三类任务，层层递进：

1. 理解视图结构。 模型需要识别一张图纸由哪些视图构成——主视图、俯视图、剖视图、局部放大图各自在哪里、投影关系如何，并建立视图与标题栏、明细表之间的空间与逻辑对应关系。例如，当明细表中出现“件号3”时，模型应能定位到该序号在装配图中通过引出线标注的位置。这种跨区域、跨模态的关联理解，是VLM相对传统规则方法最大的优势。

2. 提取几何特征。 包括零件轮廓、关键尺寸的标注位置、尺寸数值、公差等级、粗糙度符号等。这一步的输出是后续相似度比对与参数化复用的基础。例如判断两张图纸是否为同一零件的不同版本，几何特征往往比文字字段更可靠。

3. 识别版式与标注。 图框、分区、标题栏字段（图号、名称、材料、比例、设计者、版本）、技术要求条目、BOM明细表逐行内容，都需要被准确识别并结构化输出，这直接决定图纸能否被下游系统消费。

提示词设计对识别质量影响很大，一个可参考的示例如下：

  1. 你是工程图纸解析助手。请从给定图纸中识别并输出：
  2. 1. 视图构成：主视图、剖视图、局部放大图及其相对位置；
  3. 2. 标题栏字段：图号、名称、材料、比例、版本、日期；
  4. 3. 明细表：逐行输出序号、代号、名称、数量、材料；
  5. 4. 技术要求：逐条列出文字内容；
  6. 5. 关键尺寸与公差：列出主要特征尺寸及其公差。
  7. 以JSON格式输出，无法识别的字段填null，不要臆造。

实践中通常将“版式理解”与“字段抽取”拆分为多次调用，每次聚焦一类任务，并要求模型输出JSON等结构化格式，便于校验与入库。

四、向量化检索如何“找准”图纸

解析之后，检索层要解决“模糊查找”与“相似发现”两类需求，推荐采用多路向量+混合检索的设计：

1. 多路向量化。 对图纸至少构建三路索引：图像向量（捕捉视图形态与版式特征，支撑以图搜图）、文本向量（基于VLM生成的图纸描述与技术要求，支撑语义搜索）、结构化元数据（图号、名称、材料、产品线等，支撑精确过滤）。

2. 混合检索流程。 一次典型查询是“向量召回+关键词召回+元数据过滤+精排”的组合：先用向量与关键词并行召回候选集，再用元数据条件（如版本、产品线）过滤，最后用重排序模型精排。示意伪代码如下：

  1. # 图纸入库
  2. def ingest(img_path):
  3.     img = preprocess(img_path)               # 纠偏、去噪、分辨率增强
  4.     fields = vlm_extract(img, FIELD_PROMPT)  # 标题栏/BOM/技术要求抽取
  5.     desc   = vlm_summarize(img)              # 生成自然语言描述
  6.     index.upsert(
  7.         id=fields["drawing_no"],
  8.         vectors=[image_embed(img), text_embed(desc)],
  9.         metadata=fields)
  11. # 混合检索
  12. def search(query, filters):
  13.     cand = index.search(text_embed(query), top_k=20, filter=filters)
  14.     return rerank(query, cand)               # 精排后返回

3. 典型应用形态。 以文搜图：“找所有材料为不锈钢、带法兰结构的图纸”；以图搜图：上传一张新设计草图，找出历史库中的相似图纸供参考复用；相似图比对：定位同一零件的不同版本，自动高亮尺寸与BOM差异，辅助变更审查。

五、从图纸到可复用的知识库

检索只是手段，目标是形成可持续运营的图纸知识库，落地时建议关注四点：

1. 统一元数据模型。 定义图号、名称、版本、材料、产品线、关联项目等标准字段，VLM抽取结果与人工录入共用同一套模型，避免数据“多套账”。

2. 版本与变更管理。 图纸天然存在多版本，知识库需保留版本谱系，检索默认返回最新有效版本，同时支持按版本追溯历史。

3. 人机协同的复核闭环。 对标题栏、BOM等关键字段设置置信度阈值，低置信度结果进入人工复核队列，复核结论反哺提示词与抽取规则，形成识别精度的持续迭代。

4. 权限与安全。 图纸往往涉及核心知识产权，需按项目、部门设置细粒度访问控制，检索与问答均应在权限范围内执行；涉密场景优先考虑私有化部署。

六、业务价值：从“找图”到“提效”

这套能力的价值在多个环节兑现：研发端，新项目设计时通过相似图检索快速复用历史方案，减少重复出图；工艺与采购端，BOM明细自动结构化后直接对接下游系统，省去人工转录；质量与售后端，通过版本追溯与差异比对，快速定位历史变更与问题根源。对企业而言，图纸从“扫描件的堆积”变成“可检索、可比对、可复用的知识资产”，这正是AI在工业研发场景中务实落地的有效路径。

最热文章