漫画AI翻译工具从零搭建：文字提取与回填实践

引言：一个被忽视的本地化难题

漫画作为一种高度依赖图文协同的叙事媒介，其跨语言传播长期受制于一个朴素却顽固的障碍：图里的字，取不出来，也放不回去。人工翻译组的常规流程是译者在图像上逐格标注、手动录入、再排版回填，效率低且成本高。当通用AI能力逐渐普及时，一个自然的问题浮现：能否用技术手段把这条链路自动化？

本文围绕一个从零搭建的漫画AI翻译工具实践，拆解三个核心环节——漫画文字提取、上下文感知翻译、译文版面回填——并讨论每个环节中容易被低估的工程细节。文章不绑定任何特定商业产品，聚焦于可复用的技术思路与方案取舍。

一、第一道坎：为什么通用OCR在漫画上失效

1.1 通用OCR的假设与漫画的现实

通用光学字符识别（OCR）模型通常在文档、票据、屏幕截图等场景下训练，其隐含假设包括：文字水平排列、背景相对干净、字体规范统一、字符间距稳定。漫画恰恰在每一条上都构成反例：

• 字体多变：手写体、艺术字、拟声词、加粗描边字并存，同一页内可能出现多种字重与倾斜角度；
• 背景复杂：文字常叠加在网点点阵、渐变、速度线甚至人物轮廓之上；
• 气泡框形变：对话框可能是椭圆、爆炸形、不规则多边形，边界与文字距离极近；
• 排版自由：竖排、斜排、沿曲线排列均有出现，部分文字还带有旋转。

直接用通用模型推理，识别率会显著下降，且往往无法给出稳定的文字包围框坐标——而坐标恰恰是后续回填环节的前提。

1.2 专用模型的设计思路

结论很明确：需要训练一个面向漫画场景的文字检测与识别模型。工程上可拆为两个子任务：

• 文字检测：定位页面中每一处文字区域，输出精确的包围框（或四边形顶点），需要处理倾斜与密集排布；
• 文字识别：对每个裁剪区域做字符级识别，输出文本内容与置信度。

数据来源方面，可利用公开漫画语料与自有素材，经过清洗、标注、增广（旋转、透视变换、背景混合、字体替换）构建训练集。训练策略上，检测与识别可分阶段进行，也可采用端到端架构共享骨干网络。实践中，检测环节对小目标和不规则排布的召回率是主要瓶颈，需要针对性地调整锚框尺度与后处理逻辑。

一个简化的推理管线示意如下：

def extract_text_regions(page_image, detector, recognizer):
    boxes = detector(page_image)          # 返回 N 个四边形坐标
    results = []
    for box in boxes:
        crop = warp_and_crop(page_image, box)   # 透视矫正后裁剪
        text, conf = recognizer(crop)
        if conf > CONF_THRESHOLD:
            results.append({"box": box, "text": text, "conf": conf})
    return results

关键点在于：检测输出的坐标必须与后续回填环节使用同一坐标系，否则抹除与渲染会出现错位。这一约束应在架构设计初期就固定下来。

二、翻译环节：上下文是质量的胜负手

2.1 逐句翻译的局限

拿到文字后，最直观的做法是逐条送入翻译接口。但漫画对话高度依赖语境：角色语气（敬语/粗俗/方言）、指代关系、伏笔与双关，都超出单句所能承载的信息。逐句翻译常见的问题包括：人称代词性别误判、语气词丢失、笑点被直译破坏。

2.2 整章上下文提交策略

一个有效的改进是：将整页乃至整章的文本按阅读顺序拼接，连同版面结构信息一并提交给翻译模型，让模型在完整语境下输出译文。代价是Token用量上升，处理成本增加；收益是译文对角色语气与剧情连贯性的还原度明显提升。

工程上需要注意几点：

• 顺序还原：需依据检测框坐标推断阅读顺序（右起竖排、左起横排等），否则上下文本身会错乱；
• 分块与截断：单章文本可能超出上下文窗口，需按场景或页边界切分，并保留少量重叠以维持连贯；
• 结构化输出：要求模型按输入条目的索引返回译文，便于与坐标一一对应，避免错位。

这一环节的取舍原则可以概括为：技术应服务于阅读体验，成本优化应建立在质量达标之后，而非相反。

三、回填：让译文重新“长”回画面

3.1 气泡框定位与文字抹除

回填的第一步是精确获得文字的“可写区域”。仅靠文字检测框往往不够——气泡框内部边缘、文字与边框的间距都需要处理。因此需要额外的气泡框/文本区域分割模型，输出可用于渲染的掩膜或内接多边形。

抹除原文字的常见做法是基于掩膜做图像修复（inpainting），将文字像素替换为与周围背景一致的纹理。对网点背景，简单的均值填充会留下明显色块，需采用纹理合成或轻量修复网络。

3.2 译文渲染与排版适配

渲染环节的核心是“协调”：字号需根据区域尺寸自适应，字体风格需与原作气质接近（如对白用常规黑体、拟声词用手写风格），行距与对齐需符合目标语言的阅读习惯。对竖排转横排的语言对，还需重新计算换行策略。

一个典型的适配逻辑：

def render_translation(page_image, region, translated_text, font_profile):
    area = region.inner_polygon
    font_size = fit_font_size(translated_text, area, font_profile)
    lines = wrap_text(translated_text, area.width, font_size)
    draw_text_block(page_image, area, lines, font_profile, font_size)
    return page_image

实践中，字号过小会导致可读性下降，过大则溢出气泡框。可行的折中是允许适度压缩字号并调整行距，必要时对极短气泡框做轻微的背景扩展，但需谨慎以免破坏画面构图。

四、工程化视角：链路整合与质量保障

把三个环节串起来，整条链路是：页面输入 → 文字检测与识别 → 阅读顺序还原 → 上下文翻译 → 气泡框定位 → 文字抹除 → 译文渲染 → 页面输出。

质量保障方面，建议建立分层评估：

• 提取层：字符准确率、包围框IoU、漏检率；
• 翻译层：人工抽检语气与连贯性，辅以自动指标；
• 回填层：渲染溢出率、遮挡率、可读性主观评分。

此外，整条链路应支持可回溯的中间结果落盘（检测框、原文、译文、掩膜），便于定位问题环节。对于批量处理场景，可将各环节拆为独立服务，通过任务队列解耦，利用对象存储承载中间图像，日志与监控覆盖耗时与失败率。

五、小结

漫画AI翻译工具的技术难点并不在单一模型，而在链路协同：专用文字检测解决“取得出”，上下文翻译解决“译得准”，坐标对齐与版面适配解决“放得回”。三个环节共享同一套坐标体系与数据结构，是系统稳定运行的基础。随着检测与修复模型的持续迭代，这条链路有望进一步降低人工介入比例，让跨语言漫画阅读的门槛继续下降。