从0到1搭建漫画AI翻译工具的技术实践

漫画作为一种图像与文字高度融合的内容形态，其翻译远比普通文本复杂。文字嵌入在气泡、拟声词、背景画面中，字体多变、排列扭曲，且译文必须重新放回原图，视觉上还要尽量“不违和”。这些特点使漫画翻译成为一个典型的“检测—识别—理解—生成—回填”多阶段任务。本文将从工程视角，还原一套漫画AI翻译工具从构想到落地的完整过程。

一、问题拆解：漫画翻译到底难在哪里

在动手之前，先把任务拆开，才能避免把问题想简单。一次完整的漫画翻译至少包含五个环节：

1. 文字区域检测：在画面中找到所有需要翻译的文字位置；
2. 文字内容识别：将定位到的区域转成可编辑文本；
3. 上下文翻译：在理解角色、剧情、语气的前提下完成翻译；
4. 原文擦除：从原图中干净地移除文字，同时保留背景纹理；
5. 译文渲染：将译文以合适的字体、大小、方向放回原位置。

任何一个环节的缺陷，都会在最终页面中被放大。例如检测漏掉一个拟声词，读者立刻会看到“半中半外”的画面；擦除不干净，新文字就会叠在旧墨迹上；翻译脱离上下文，角色性格可能直接走样。

因此，漫画翻译不是一个“OCR+机器翻译”的拼装问题，而是一套需要整体设计的流水线。

二、文字提取：从通用OCR到专用检测识别模型

最初尝试时，最容易想到的是接入现成的通用OCR能力。代码很快就能跑通，但实际效果却远低于预期。原因在于，通用OCR的训练数据大多来自扫描文档、街景或截图，文字通常排列规整、背景相对单一。而漫画中的文字具有以下特点：

• 字体风格极多，手写体、艺术体、拟声词特效字高频出现；
• 文字经常旋转、弯曲、被气泡框边界裁切；
• 背景可能是速度线、网点、复杂纹理，对比度不稳定；
• 同一个气泡中可能混合不同字号和语言方向。

这些因素导致通用模型在漫画场景下容易出现漏检、误检和文本行切分错误。更关键的是，很多通用OCR只能返回整段文本，无法提供足够精确的文字坐标，这对后续“擦除+回填”几乎是致命的。

因此，实践转向了训练一个面向漫画场景的专用文字检测与识别模型。这一阶段的核心工作集中在数据侧。

首先是数据准备。从已有的数字漫画资源中截取页面，并按照不同画风、字体类型、气泡形态进行分层采样，确保训练集覆盖少女漫、少年漫、青年漫等不同排版风格。然后进行人工标注，标注内容不仅包括文字框坐标，还包括文字是否为拟声词、是否位于气泡内、文字方向等属性。

其次是检测模型训练。文字检测采用“先定位后识别”的两阶段方案。检测模型只负责回答“哪里有文字”，输出每个文字区域的四边形或多边形坐标。这一阶段重点优化的是小字召回率与弯曲文本的包围精度。漫画中大量拟声词字号很小，且常与背景融为一体，检测模型必须在保证精确率的同时尽量提高召回率。

最后是识别模型训练。识别模型接收检测框裁切后的图像，输出字符序列。与检测不同，识别模型对字体风格更敏感。为了提升泛化能力，训练时引入了多种数据增强策略：随机旋转、透视扭曲、背景混合、字体抖动、网点叠加等。经过多轮迭代，专用模型在自建测试集上的识别率显著优于通用OCR，尤其在拟声词和艺术字场景中提升明显。

三、翻译策略：为什么要把整页甚至整章交给模型

文字提取完成后，下一步是翻译。一个直观做法是逐句翻译，每检测到一段文本就调用一次翻译模型。这种方式简单，但会带来严重的语境割裂问题。

漫画语言高度依赖上下文。同一句话，脱离前后情节可能有完全不同的含义。角色之间的称谓变化、敬语与口语切换、反讽与认真语气的区分，都需要借助更大范围的对话流来判断。如果只翻译单句，很容易出现“字面正确但人设崩塌”的结果。

因此，在翻译模块中采用了整页优先、必要时携带邻近页的策略。将一页中所有识别出的文字按阅读顺序组织成一个带有位置信息的文本块，统一提交给翻译模型。必要时，还会把前一页的对话摘要或角色信息作为前置上下文一并传入。

这样做的代价是Token消耗增加，但带来几个明显收益：

• 角色语气前后更一致，不会上一句还是敬语下一句突然变成粗鲁口吻；
• 对“双关”“省略句”“指代”等依赖上下文的现象处理更好；
• 翻译结果可以直接按原文字区域拆分，降低后续对齐成本。

在工程实现上，可以设计一个简单的上下文组装器。它读取当前页的识别结果，判断是否存在未闭合的对话或跨页情节，再决定是否补充前文信息。翻译输出保持结构化格式，例如JSON数组，每个元素包含原文、译文和对应的区域ID，方便后续回填。

示意结构如下：

{
  "page": 12,
  "blocks": [
    {
      "id": "b12_03",
      "original": "まさか…",
      "translated": "怎么会……",
      "style": "dialogue"
    }
  ]
}

这种结构化输出避免了“翻译结果无法对应到具体气泡”的问题，是工程化落地的关键一步。

四、气泡框定位与原文擦除：让文字“消失”而不是“涂掉”

翻译完成之后，需要把译文放回原图。但在此之前，必须先抹掉原文。这个环节最容易出现的失败是：擦除后留下明显的涂抹痕迹、背景纹理断裂，或者更糟——把气泡框也一起擦掉了。

为了实现高质量擦除，需要单独训练一个气泡框与文字区域分割模型。它的任务不是识别文字内容，而是精确判断哪些像素属于“文字笔画”，哪些像素属于“背景画面”。这与检测框不同，检测框只给出大致范围，而分割需要像素级精度。

分割模型的训练数据同样需要专门标注。标注时，需要将文字笔画区域精确勾出，同时保留气泡边缘、速度线、网点等背景元素。训练完成后，擦除流程如下：

1. 使用分割模型输出文字笔画掩码；
2. 对掩码区域使用图像修复算法，利用周围背景纹理填充；
3. 对修复结果进行平滑处理，减少边界伪影。

针对拟声词这类大面积艺术字，修复难度更高，因为其笔画粗、面积大，覆盖的背景信息更多。实践中发现，对于这种区域，先生成低分辨率修复结果，再逐步上采样，比直接在高分辨率上修复效果更稳定。

擦除完成后，原气泡区域应呈现为“没有文字的干净气泡”。如果气泡本身被文字压住，说明检测或分割阶段出现了定位误差，需要回退修正。

五、译文回填：让文字“长”回画面

最后一步是译文渲染。目标不是简单把文字贴上去，而是让译文在视觉上尽量接近原作的排版风格。

影响观感的因素包括：字体选择、字号缩放、字间距、行距、对齐方式、文字方向。中文译文通常比日文原文更短，但有时也会更长，因此不能直接沿用原文字号参数，需要根据气泡可用空间做自适应调整。

一个可用的策略是：

1. 根据检测框尺寸估算可用排版区域；
2. 初始化一个基准字号，计算译文在该字号下的换行结果；
3. 若超出可用区域，则逐级减小字号；若明显偏小，则适度增大；
4. 保持文字在气泡内居中或按原作对齐方式排列；
5. 对竖直排列的原文，按目标语言习惯决定是否转为横排。

在拟声词场景中，译文渲染还要考虑字体特效。理想情况下，应使用带有描边、渐变或变形的字体样式来匹配原有效果。如果无法做到完全一致，至少应保持文字的视觉权重与原文相当，避免译文在画面中显得过于“轻”或“重”。

六、工程化与迭代：从能用到可维护

完成单页跑通后，工程化问题会逐渐成为重点。一条可用的漫画翻译流水线，需要至少具备以下能力：

• 批量处理：支持整册漫画按章节导入，自动完成页面预处理、识别、翻译、回填全流程；
• 中间结果可回看：每一步的结果都应可导出、可复核，例如识别文本、擦除后图像、最终合成图；
• 异常兜底：当检测置信度过低或修复质量不达标时，应标记该区域为“需人工复核”，而不是强行输出劣质结果；
• 成本控制：翻译阶段Token消耗最大，可通过缓存重复句式、按页复杂度分级调用模型等方式优化；
• 质量评估：建立人工抽检流程，对漏检率、误译率、回填视觉合格率等指标进行统计。

其中，成本与质量的平衡尤其值得关注。整页翻译固然效果更好，但并非每一页都需要同等力度的处理。可以根据页面文字密度、对话复杂度做简单分级，对信息量低的页面使用轻量策略，对关键剧情页保留完整上下文。

七、总结与展望

从通用OCR的不适应，到专用检测识别模型；从逐句翻译的语境割裂，到整页级上下文传递；从粗暴抹除，到像素级分割与修复回填——整个过程中最重要的认知是：漫画翻译是一个需要视觉理解与语言理解协同工作的复合任务，任何试图用单一模型端到端解决全部问题的想法，在现阶段都容易在细节上失控。

随着多模态模型能力的持续演进，未来可能在文字检测、翻译、修复等环节获得更强的统一建模能力。但在工程实践中，模块化拆解、分阶段优化、保留人工复核通道，仍然是保障最终质量的有效手段。对于希望从0到1搭建类似工具的技术团队来说，先跑通“检测—翻译—回填”的最小闭环，再逐步提升每个环节的精度，是一条风险更低、成长更稳的路径。