基于TensorFlow与OpenCV的Python发票识别：字符分割实战指南

作者：很菜不狗2025.09.26 13:22浏览量：1

简介：本文详解基于TensorFlow与OpenCV的发票信息提取方案，重点解析字符分割技术并附完整Python源码，帮助开发者快速构建发票识别系统。

基于TensorFlow与OpenCV的Python发票识别：字符分割实战指南

一、项目背景与技术选型

在财务自动化场景中，发票信息提取是关键环节。传统OCR方案存在对复杂排版发票识别率低的问题，本案例采用深度学习+图像处理技术，通过TensorFlow实现发票区域定位，结合OpenCV完成字符分割，最终实现结构化数据提取。

技术选型依据：

  • TensorFlow：提供灵活的深度学习框架，支持自定义发票检测模型
  • OpenCV：高效的图像处理库，适合预处理和分割操作
  • Python：丰富的计算机视觉生态（NumPy、Matplotlib等）

二、系统架构设计

整个识别系统分为三个核心模块：

  1. 发票定位模块：使用Faster R-CNN模型检测发票区域
  2. 预处理模块：包含二值化、去噪、透视变换等操作
  3. 字符分割模块：基于投影分析和连通域分析的分割算法

三、字符分割技术详解

字符分割是OCR识别的前提，直接影响最终准确率。本案例采用复合分割策略：

1. 预处理阶段

  1. import cv2
  2. import numpy as np
  4. def preprocess_image(img_path):
  5.     # 读取图像并转为灰度图
  6.     img = cv2.imread(img_path)
  7.     gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
  9.     # 自适应二值化
  10.     binary = cv2.adaptiveThreshold(
  11.         gray, 255, 
  12.         cv2.ADAPTIVE_THRESH_GAUSSIAN_C, 
  13.         cv2.THRESH_BINARY_INV, 11, 2
  14.     )
  16.     # 去噪处理
  17.     kernel = np.ones((3,3), np.uint8)
  18.     denoised = cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel)
  20.     return denoised

2. 垂直投影分割

通过计算每列的像素和，识别字符间的空白区域：

  1. def vertical_projection(img):
  2.     # 计算垂直投影
  3.     projection = np.sum(img, axis=0)
  5.     # 寻找分割点（投影值小于阈值的列）
  6.     threshold = np.mean(projection) * 0.3
  7.     split_points = []
  8.     in_char = False
  10.     for i, val in enumerate(projection):
  11.         if val < threshold and in_char:
  12.             split_points.append(i)
  13.             in_char = False
  14.         elif val >= threshold and not in_char:
  15.             in_char = True
  17.     return split_points

3. 连通域分析优化

对投影分割结果进行验证和修正：

  1. def refine_segments(img, split_points):
  2.     refined_segments = []
  3.     contours, _ = cv2.findContours(img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
  5.     # 按x坐标排序轮廓
  6.     contours = sorted(contours, key=lambda c: cv2.boundingRect(c)[0])
  8.     for c in contours:
  9.         x, y, w, h = cv2.boundingRect(c)
  10.         # 过滤小噪点
  11.         if w > 10 and h > 10:
  12.             refined_segments.append((x, y, w, h))
  14.     return refined_segments

四、完整实现流程

  1. 模型准备：加载预训练的发票检测模型
    ```python
    import tensorflow as tf

def load_detection_model(model_path):
model = tf.keras.models.load_model(model_path)
return model

  2. 2. **主处理流程**：
  3. ```python
  4. def process_invoice(img_path, model):
  5.     # 1. 发票区域检测
  6.     img = cv2.imread(img_path)
  7.     input_tensor = tf.convert_to_tensor(img)
  8.     input_tensor = input_tensor[tf.newaxis, ...]
  10.     detections = model(input_tensor)
  11.     boxes = detections['detection_boxes'][0].numpy()
  12.     scores = detections['detection_scores'][0].numpy()
  14.     # 获取最高分检测框
  15.     invoice_box = boxes[np.argmax(scores)]
  16.     xmin, ymin, xmax, ymax = invoice_box
  18.     # 2. 裁剪发票区域
  19.     h, w = img.shape[:2]
  20.     xmin, ymin = int(xmin*w), int(ymin*h)
  21.     xmax, ymax = int(xmax*w), int(ymax*h)
  22.     invoice_roi = img[ymin:ymax, xmin:xmax]
  24.     # 3. 预处理
  25.     processed = preprocess_image(invoice_roi)
  27.     # 4. 字符分割
  28.     split_points = vertical_projection(processed)
  29.     segments = refine_segments(processed, split_points)
  31.     # 5. 提取字符ROI
  32.     characters = []
  33.     for seg in segments:
  34.         x, y, w, h = seg
  35.         char_roi = processed[y:y+h, x:x+w]
  36.         characters.append(char_roi)
  38.     return characters

五、优化与改进方向

  1. 模型优化：

    • 使用更先进的检测模型（如YOLOv5）
    • 增加数据增强（旋转、透视变换等）

  2. 分割算法改进：

    • 结合水平投影处理多行文本
    • 引入LSTM网络处理粘连字符

  3. 后处理优化：

    1. def postprocess_characters(characters):
    2.  # 字符大小归一化
    3.  normalized = []
    4.  for char in characters:
    5.      h, w = char.shape
    6.      aspect_ratio = w / h
    7.      target_h = 32
    8.      target_w = int(target_h * aspect_ratio)
    9.      resized = cv2.resize(char, (target_w, target_h))
    10.      normalized.append(resized)
    12.  # 构建字符序列
    13.  char_sequence = []
    14.  for char in normalized:
    15.      # 这里可以接入OCR引擎（如Tesseract）
    16.      # 或者使用预训练的字符识别模型
    17.      char_sequence.append("CHAR_PLACEHOLDER")  # 实际应替换为识别结果
    19.  return char_sequence

六、完整项目结构

  1. invoice_recognition/
  2. ├── models/
  3. │   └── invoice_detector.h5
  4. ├── utils/
  5. │   ├── preprocessing.py
  6. │   └── segmentation.py
  7. ├── main.py
  8. └── requirements.txt

七、部署建议

  1. 容器化部署：使用Docker打包TensorFlow和OpenCV环境
  2. 性能优化：
    • 将模型转换为TensorFlow Lite格式
    • 使用多线程处理批量发票
  3. API设计：
    ```python
    from fastapi import FastAPI

app = FastAPI()

@app.post(“/recognize”)
async def recognize_invoice(file: bytes):

  1. # 实现文件接收和识别逻辑
  2. return {"result": "structured_data"}

```

八、总结与展望

本案例展示了基于TensorFlow和OpenCV的发票识别系统实现，重点解决了字符分割这一关键问题。实际应用中，建议：

  1. 构建包含1000+张发票的训练集
  2. 采用迁移学习加速模型训练
  3. 结合规则引擎处理特定发票格式

未来发展方向包括：

  • 引入注意力机制的端到端识别模型
  • 支持更多发票类型（增值税发票、电子发票等）
  • 开发Web界面实现可视化操作

完整项目代码已上传至GitHub，包含训练脚本、测试数据和详细文档，欢迎开发者贡献和改进。

最热文章