工业图纸视觉理解与检索：构建可复用的研发知识库

一、背景：工程图纸为何需要“被读懂”

在制造、装备、能源、建筑等行业的研发与交付环节，大量历史工程图纸仍以扫描件、PDF、图片等形式分散在不同系统中。这类图纸虽然保存了关键设计信息，但由于缺乏结构化描述，往往只能依靠人工逐张查看、比对和判断，存在几个突出问题：

1. 检索效率低：图纸通常按项目、图号或文件夹归档，难以按几何特征、材料要求、工艺标注等语义条件查找。
2. 复用困难：相似零部件或相似工艺可能已在历史图纸中出现过，但由于无法快速找到参考图，工程师容易重复设计。
3. 审查与变更成本高：图纸版本比对、标注一致性检查、BOM 与标题栏核对等仍高度依赖人工。
4. 知识沉淀不足：资深工程师经验难以转化为可共享的图纸知识库，人员流动会放大知识断层风险。

因此，如何让机器“看懂”工程图纸，并以可检索、可比对的方式组织起来，成为研发数字化与智能化的重要切入点。

二、整体思路：从“看见”到“找准”再到“用好”

针对上述问题，一个较为务实的方案是采用三层协同的技术路径：

• 视觉理解层：用视觉语言模型对图纸进行结构化识别，输出视图、尺寸、公差、标题栏、明细表等信息。
• 语义检索层：将识别结果与图纸图像分别向量化，构建混合检索能力，使工程师可以用自然语言或“以图搜图”方式查找历史图纸。
• 知识应用层：在研发管理平台中把识别、检索、比对结果嵌入实际业务流程，例如设计复用、变更影响分析、工艺审查等。

这一思路的核心不是简单做 OCR，而是要把图纸从“像素级文件”提升为“结构级知识单元”。

2.1 视觉理解层：让模型理解图纸语义

视觉语言模型在该场景中承担三类关键任务。

2.1.1 理解视图结构

一张典型工程图纸通常包含主视图、剖视图、局部放大图、标题栏、明细表等内容。模型需要识别这些区域之间的对应关系，例如：

• 某剖切符号对应哪个剖视图；
• 标题栏中的图号、图名与图纸哪部分内容相关；
• 明细表中的零件序号如何映射到视图中的引出标注。

这类理解能力决定了后续检索与比对是否准确。单纯识别文字框和线条位置不够，模型必须建立“区域—角色—关系”的语义结构。

2.1.2 提取几何特征

工程图纸中的几何信息包括轮廓形状、关键尺寸、孔位、槽形、倒角、公差范围、表面粗糙度等。视觉模型不仅要检测标注文字，还要把标注与对应几何元素建立连接。

例如，一个直径标注应关联到具体圆或孔，而不是仅作为孤立文本存在。这样后续搜索“直径 20mm、公差 ±0.02 的轴类零件”时，才能准确命中相关图纸区域。

2.1.3 识别版式与标注信息

版式识别包括图框类型、分区、修订标记、技术要求文字等。标注信息则涵盖焊接符号、形位公差、基准标识、表面处理说明等。对这些内容的结构化提取，可以支撑审查规则自动化，例如检查某类工艺是否缺少必要标注。

2.2 向量化检索层：让图纸可被查找

图纸识别完成后，需要构建可检索的索引。常见的检索对象包括：

• 文本语义：图号、图名、材料、技术要求、BOM 明细等结构化字段；
• 图像特征：整体图样或局部区域的视觉特征；
• 几何语义：从尺寸、公差、形状中抽取的规范化属性。

2.2.1 文本向量化

将标题栏、技术要求、明细表中的文本内容进行切分和编码，生成语义向量。这样用户输入“不锈钢焊接件，表面喷砂处理”等描述时，系统可以召回相关历史图纸，即使表述方式不同，也能根据语义相似度匹配。

2.2.2 图像向量化

工程图纸的相似性有时很难用文字完全表达，例如复杂装配结构或特定外形轮廓。此时可采用图像向量化方法，把图纸区域或整体图像编码为向量，然后计算相似度。用户上传一张局部截图或草图，即可搜索相似图纸，实现“以图搜图”。

2.2.3 混合检索与排序

单一文本检索或图像检索都有局限。实践中通常采用混合检索策略：

• 先由关键词或过滤条件缩小候选范围，如图号前缀、项目编号、图纸类型；
• 再利用向量相似度对候选集排序；
• 必要时加入规则加权，例如尺寸越接近、材料一致、相似度越高，排序越靠前。

这种“过滤 + 语义排序 + 规则加权”的组合方式，在工程场景中比纯向量检索更可控，也更容易解释结果。

2.3 知识应用层：把图纸能力嵌入研发流程

识别与检索只是基础能力，最终价值要落到研发业务中。以下是几类典型应用形态。

2.3.1 设计复用检索

设计人员在开始新零件或新装配设计前，可先输入关键参数或上传草图，从历史图纸库中查找相似方案。系统返回的不仅是图纸文件，还包括识别出来的尺寸范围、材料、工艺要求等结构化信息，帮助工程师快速判断是否可以借用或修改。

这一过程可显著减少重复建模和重复出图的时间。

2.3.2 图纸差异比对

对于版本变更或相似零件，可对两张图纸进行区域级比对，自动标出尺寸变化、形状差异、标注增删、技术要求修改等。相比人工逐项核对，机器比对覆盖面更全，且能生成可追溯的差异清单。

2.3.3 标注完整性与规范检查

基于识别结果，可以设置规则检查图纸是否缺失关键标注。例如：

• 有焊接结构时是否包含焊接符号；
• 有尺寸公差时是否标注基准；
• 标题栏中的材料与技术要求中的材料描述是否一致。

这种检查不需要替代专业审图人员，但可以起到初筛和辅助作用，把专家精力集中在复杂问题上。

2.3.4 图纸知识库构建

随着识别与检索不断积累，可以逐步形成企业级图纸知识资产。例如：

• 按产品线建立相似零件簇；
• 抽取材料、尺寸、工艺形成结构化参数表；
• 将历史设计经验与图纸关联，形成可检索的参考案例库。

这类知识库的持续运营，可以降低对个别经验丰富人员的依赖。

三、工程化实施中的关键设计

要将上述能力从演示推进到可用状态，还需关注数据准备、模型适配、结果校验与系统集成等工程化问题。

3.1 图纸数据治理

工程图纸来源复杂，格式、清晰度、版本和命名规则差异很大。在识别之前，需要完成基础治理：

• 统一图纸格式，必要时进行图像增强、去噪、倾斜校正；
• 建立图纸元数据基线，如项目、图号、版本、设计阶段；
• 对历史扫描件按类型拆分，例如总装图、零件图、工艺图等。

数据质量会直接决定识别和检索效果，因此这一步不可省略。

3.2 模型微调与提示工程

通用视觉语言模型对工程图纸中的专业符号、制图规范可能不敏感。实践中通常需要：

• 利用标注数据对模型进行领域微调；
• 设计合理的提示词或任务模板，让模型按固定结构输出；
• 对容易混淆的符号、公差类型、剖切关系等，增加负样本与纠错样本。

例如，可以要求模型以 JSON 形式输出图号、图名、材料、视图列表、明细表等，便于后续程序化处理。示意如下：

{
  "drawing_id": "D-2024-0187",
  "drawing_name": "传动轴组件",
  "material": "40Cr",
  "views": [
    {"type": "main", "description": "主视图，展示整体外形"},
    {"type": "section", "description": "A-A剖视图，展示内部结构"}
  ],
  "bom": [
    {"item": 1, "name": "轴体", "qty": 1, "material": "40Cr"}
  ]
}

实际项目中输出字段会依据企业标准调整，但结构化输出对后续检索非常关键。

3.3 识别结果校验与人工反馈闭环

图纸识别难以做到完全准确，尤其是在旧图纸模糊、制图不规范的情况下。因此系统应提供人工校验界面：

• 将识别结果以高亮框形式标注在原图上；
• 支持工程师快速修正字段；
• 将修正结果回流到训练数据或规则库中。

通过“识别—校验—再训练/规则优化”的闭环，系统可逐步提升行业适配度。

3.4 检索性能与可解释性

工程图纸库规模可能达到数十万甚至百万级，检索性能需要专门设计。通常采用分块索引、分区检索、缓存热点查询等手段降低延迟。同时，检索结果需展示命中的图纸区域、结构化信息片段和相似度依据，避免“黑盒”结果影响工程师信任。

例如，在返回结果时可以说明：

该图纸与查询条件“锪孔直径 8mm、沉孔深度 5mm”的相似区域位于主视图右下角，相似度 0.87。

这种可解释性对研发用户接受度非常重要。

3.5 与企业研发平台集成

图纸能力不应孤立存在，宜与研发管理平台、项目管理系统、变更管理流程打通。例如：

• 设计人员在研发平台可直接发起相似图纸检索；
• 审图人员可在流程中查看机器识别出的风险项；
• 变更单中自动带出受影响的历史图纸列表。

这种嵌入业务流程的方式，比单独建设一个图纸搜索页面更易产生持续价值。

四、典型应用流程示例

为便于理解，可将该系统在研发场景中的使用过程描述为以下步骤：

1. 输入：工程师上传一张新设计草图，或输入“查找类似材质为 45 钢、轴径 30mm、带键槽的轴类零件”的查询语句。
2. 理解：视觉模型对上传草图进行视图识别与几何特征提取，或语义解析模块解析自然语言查询条件。
3. 检索：系统生成查询向量，结合图号、项目类型等过滤条件，在图纸库中召回候选集并排序。
4. 展示：返回匹配的历史图纸缩略图、图号、材料、关键尺寸和相似区域定位。
5. 应用：工程师打开历史图纸，参考设计参数或直接复制到新设计方案中；审图人员查看机器校核出的标注缺失或版本差异。
6. 沉淀：修改后的新图纸重新进入知识库，形成新的可检索资产。

五、落地价值与预期收益

该方案在多个研发业务环节可产生较直观的改善：

• 缩短查图与复用周期：从人工翻目录、翻文件柜到语义检索、以图搜图，可显著减少查找时间。
• 降低重复设计比例：更容易发现可借用的历史零部件与工艺方案，提升标准化水平。
• 提升审图与变更质量：通过机器识别与规则检查，减少遗漏和低级错误。
• 形成结构化知识资产：把散落的图纸转化为可分析、可运营的数据底座，为后续研发大数据、智能设计等应用打基础。

需要注意的是，实际效果受图纸历史数据质量、行业制图规范程度、业务系统配合度等因素影响。建议从高频、高价值的图纸类型切入，先验证闭环效果，再逐步扩展。

六、总结

让视觉语言模型读懂工程图纸，并通过向量化检索把识别结果组织成可查询的知识库，是当前研发智能化的一条可行路径。其关键不在于单一模型能力，而在于将视觉理解、语义检索与工程业务流程有效结合。

在实践中，企业应重点关注图纸数据治理、领域化适配、人工反馈闭环和系统嵌入深度。只有让工程师在日常工作中自然使用并持续修正结果，图纸识别与检索能力才能真正转化为研发效率的提升。

随着视觉语言模型、文档理解与检索技术的进一步成熟，工程图纸这类高价值非结构化数据有望得到更充分的挖掘与复用，成为企业研发知识体系的重要组成部分。