数链科技用飞桨和文心大模型打造大宗商品数字供应链系统，提升行业透明度及标准化

发布日期：2023-05-21 16:00浏览量：1312次

大宗商品行业市场规模巨大、关系国计民生，它的三个核心类别——能源商品、基础原材料、农副产品均在我国经济发展进程中起着举足轻重的作用。这其中，大宗商品供应链的顺畅运行和稳定发展对整个产业链的运作至关重要。

然而传统大宗商品供应链普遍存在交易环节不透明、业务流程不标准两大问题：贸易链条中各个节点的信息互不相通，各自形成了信息孤岛；贸易流程中的合同、发票、货物质量、资金流转、税务等环节往往难以严格按照相关标准和规定执行，且普遍依赖人工处理交易信息。这两大问题导致了各环节信息无法交叉验证、信息流通效率低下，不仅制约了大宗商品供应链升级提效，而且行业造假、欺诈事件频频发生，严重影响行业发展。

数链科技，一家致力于用人工智能等先进科技手段实现大宗商品实时交易数字化的公司，基于飞桨文字识别开发套件 PaddleOCR、自然语言处理模型库 PaddleNLP，开发了大宗商品数字供应链智能识别与管理系统。聚焦线下单据识别场景难题，基于 PaddleNLP 的通用信息抽取模型 UIE-X （以文档智能大模型文心 ERNIE-Layout 为模型底座， ERNIE-Layout 创新性引入布局知识增强，在多个文档问答榜单登顶，为各类上层应用提供了 SOTA 模型底座），通过实现非标单据的识别及关键字段提取，破除大宗商品供应链环节信息壁垒，完善系统数据质量的同时显著提高了交易效率。

以非标单据数字化为切入点

破除“不透明、不标准”信息壁垒

基于对大宗商品行业的深刻认知及对行业供应链的痛点洞察，数链科技团队敏锐地认识到，要让大宗商品交易实现升级提效，首先要让所有交易信息实现高效精准的数字化。

“传统的大宗商品供应链中，比如物流票据、合同之类的交易信息，都以实物形式存在，需要人工拍照、存档，然后人工进行信息录入。一旦出现问题，也需要人工审查、回溯图片信息。”数链科技总裁助理张越介绍，“而各个企业的单据标准常常不一样，也就是存在大量线下非标单据，这就导致人工录入单据和追溯复查的难度极大。于是我们希望能够找到一种方式，先提升非标单据数字化的效率，然后以此为切入点，推动行业的整体数字化升级。人工智能技术，就是我们的最优选。”

结合业务流程，数链科技技术团队将实现非标单据数字化的目光锁定在文字识别与信息抽取领域。然而团队调研后发现，虽然市场上已经存在文字识别技术供应商，但鲜少有针对于大宗商品供应链开发的解决方案。大宗供应链各环节都需要大量的线下表单来记录商品及其运输、交易信息。但是，企业与企业之间的单据样式存在较大差异，没有行业统一标准，而且往往机打单据与手写单据并存。不仅如此，大宗商品与其他普通商品不同，商品记录中存在大量日常生产生活中不常用的特殊字符。市场上的方案模型普遍缺乏针对特殊字符等行业数据的训练，且难以支持多种非标表单的准确识别和信息抽取归类，导致信息识别效率低，无法满足当前业务的需求。

传统非标单据示例：不同企业的汽运磅单

另一方面，采购外部供应商的产品也缺乏灵活性，系统升级改造需要花费大量时间与供应商对接调校，遇到供应商人力无法支持时，更会严重影响投入使用的进度。因此，自研一种高效灵活的产品，成为团队当务之急。

飞桨技术+生态

助力非标单据识别效率提升20倍

最终，团队选择基于飞桨文字识别开发套件 PaddleOCR 和自然语言处理模型库 PaddleNLP 和通用信息抽取模型 UIE-X 开展自研项目。通过 PaddleOCR 提供的丰富实用的工具库，训练针对大宗供应链非标单据识别模型，并通过 PaddleNLP 调用 UIE-X 的基础上，使用自己的数据集进行微调，极大降低训练开发成本。整体技术方案可以归纳为如下步骤：

充分调研业务单据的类型，根据已有的海量的样本，明确需要提取的关键信息，设定提取的关键字规则；
基于 PaddleOCR、PaddleNLP、UIE-X 进行模型分析，开发相应的关键字抽取规则；
通过数据标注、模型评估进行模型训练，通过业务反馈进行规则优化。

研发流程示意图

在文字识别过程中，传统的光学字符识别过程为：图像预处理（彩色图像灰度化、二值化处理、图像变化角度检测、矫正处理等）、版面划分（直线检测、倾斜检测）、字符定位切分、字符识别、版面恢复、后处理、校对等。使用飞桨文字识别开发套件 PaddleOCR ，首先降低了入门门槛，不需要最基础的光学字符识别理论，其次 PaddleOCR 拥有丰富的组件和公开的文字检测、文字识别等一系列基础预训练模型，大大降低了 AI 入门难度。对于开发者来说，只需具备一定的 Python 开发能力即可在开源模型基础上进行测试、调优，最终短时间内完成部署上线。

自然语言处理模型库 PaddleNLP 内的跨模态文档通用信息抽取模型 UIE-X ，以文心大模型为基础，在没有专业标注团队的情况下，使用小样本训练，进行定制化开发，大量节省了标注成本。在此基础上，数链只需准备几十份合同样本，使用飞桨智能标注 PaddleLabel 进行标注、训练，最终关键信息抽取精度达到87.5%。

在部署过程中，PaddleOCR 支持 HubServing 服务，PaddleNLP 支持 SimpleServing 服务，并且支持半精度推理方式，加快推理速度，可进行一键部署。还支持 CPU、GPU 多种服务器部署，在测试过程中降低了调试难度。部署过程使用 Docker 一键安装方式，降低了运维部署负担。

最终，项目团队成功自研出大宗商品数字供应链智能识别与管理系统，在大宗商品供应链线下单据的识别场景下，实现了线下非标单据的识别及关键字段提取，极大提高了人工补录相关单据的效率。原本人工补录线下合同需要5分钟，现在只需人工确认结果及部分纠正即可，时间提升至15秒以内，识别效率达到原先的20倍。

据数链科技介绍，使用该系统的某企业信息录入人员反馈，每月业务最密集的时候，往往会有集中性的大量非标单据需要录入，通常部门中3位同事需要每天全员加班4个小时以上。现在通过使用大宗商品数字供应链智能识别与管理系统，即使是在业务最繁忙的时候，也可以告别加班，释放出了更多的人力完成更具专业性的运营工作。同时，由原先的人工录入改为机器识别，也极大增加了数据准确度。原先每季度平均会遇到10-15次信息录入错误，严重的甚至会造成付款金额错误，现在则再也没有出现过。整体提升了业务水平，让公司发展更健康。

项目在大宗供应链典型的表格识别场景下表现优秀。团队重新训练标注表格识别模型，将单行数据提取以单元格为维度进行矫正输出，最终使表格识别精度从87%上升到98%，大大提升合同中表格识别的准确率，对大宗商品业务场景中大量的表格式单据（如财报、铁路大票、发票、磅单、化验凭证等）的信息提取有重大意义。

张越表示，飞桨生态社区的存在也是团队当初选择飞桨进行开发的一个重要原因：“飞桨社区提供了比较多的产业范例，例如在图片反欺诈、签名比对等场景带给我们很多灵感和技术指导，同时还能帮助我们及时获取技术在产业应用的最新动态。不仅如此，我们在研发过程中遇到技术上的问题，也总能及时得到飞桨专业的研发团队和运营团队的相应支持。”

目前，数链科技大宗商品数字供应链智能识别与管理系统，已经实现线下合同、铁路大票、汽运磅单等非标单据的自动识别与信息提取，为1000余家煤炭、粮食等大宗商品领域不同规模的供应链企业提供商业化服务。

持续提升改进

赋能更多中小企业

谈到发展计划，张越表示，数链科技大宗商品数字供应链智能识别与管理系统将持续在两个主要方面进行升级拓展。

一是不断提升系统本身的产品力和技术力。一方面持续优化用户使用体验，让系统不仅“有用”而且“好用”，让更多客户愿意使用，共同推进行业数字化转型。另一方面扩展系统边界，尽可能多地覆盖不同类目大宗商品、不同场景业务需求，提供通用化服务。

二是结合物联网、区块链等技术，构建智慧仓储物联网平台，为大宗产品贸易中多方参与的交易流程提供防篡改、可溯源、具有公信力的存证记录。从而将供应链数据与金融服务打通，为广泛的中小型大宗商品供应链企业获得银行贷款等金融服务提供必要帮助，解决其“融资难、融资贵”的痛点。

“数链科技由具有资深大宗商品行业背景、金融背景、科技背景的高级管理人员发起成立。我们通过科技应用赋能大宗商品供应链，让大宗商品交易更透明，让中小企业融资更高效、成本更低。”张越介绍，“未来我们也希望能够和百度飞桨、文心大模型产生更多的合作，进一步提升大宗物流供应链流程自动化和智能监控的水平，并通过AI技术构建数据挖掘和风险评估模型，帮助更多中小企业获得金融支持机会。”