简介：视频生成模型在画面质感、动作连贯性上日趋成熟，但画面内文字生成错误率却居高不下。本文从评测体系缺陷、技术难点、五大应用场景实测数据出发，深度剖析文字生成失真的根源，并提出面向自动化评测的新思路与工程实践建议，帮助开发者精准定位模型短板，避免在真实业务场景中“因小失大”。
一条由某视频生成模型产出的10秒广告片段，画面中一位年轻人在工作台前调试设备，光影过渡自然、肢体动作流畅、镜头切换干净利落。若非刻意逐帧审视，大多数人会认为这是一条完成度相当高的商业素材。但如果将画面定格，凑近海报区域细看，会发现“Poster”被写成了“Posterer”；广告语中“algae”变成“alge”，“vivid”变成“vivitrid”，甚至无端多出一个单词“syan”。瓶身标签上“CO2-neutral”要么重复出现，要么拼写错乱。
这条视频在剧情合理性、动作自然度、场景连贯性等20项传统质量指标中通过了18项，综合得分0.90，表现优异。然而，其画面内文字错误率高达0.552，意味着超过一半的文字内容存在拼写、语义或结构错误。这一组数据揭示了一个被长期忽视的行业痛点：视频生成模型正在快速逼近“电影级画质”，但在“准确呈现文字信息”这一基础能力上，距离可用性还有相当大的距离。
一个容易被忽视的事实是，过去几年主流的视频生成评测体系，几乎都没有将“画面内文字是否正确”作为独立评估维度。行业公认的若干评测基准，其评估体系覆盖画面美感、动作连贯性、物理规律合理性、镜头语言专业性等维度，却鲜有人认真统计海报上的标题、路牌上的标识、聊天界面里的消息到底写没写对。
这不是研究者的疏忽，而是文字评测本身的复杂度远超想象。在一段10秒的视频中，文字可能出现在多个不同载体上——手写便签、印刷海报、屏幕截图、产品包装、街头招牌——它们可能部分被遮挡，可能随镜头运动而模糊，可能呈现透视畸变，也可能因光照条件不同而难以辨认。想要自动化判断“这段文字是否正确”，其难度远高于判断“人物行走姿态是否自然”。后者可以依托姿态估计算法和运动学模型进行量化评估，而前者需要模型具备对文字语义、语法、拼写乃至上下文一致性的综合理解能力。
已有的少量尝试，例如某些早期文本生成视频评测集，主要依赖人工逐帧标注与打分。这种方式在小规模学术实验中尚可接受，但一旦需要频繁测试、迭代、横向对比多个模型，人工成本便成为不可逾越的瓶颈——标注一批样本可能耗费数周时间，且不同标注者之间的判分一致性也难以保证。
面对这一困境，一个可行的解决思路是构建一套既能覆盖长文本场景、又能实现自动化评测、且评估结果与人类主观判断高度一致的基准测试体系。具体实施路径可分为四个层次。
研究团队并未随意选取测试场景，而是先由人类专家划定五个核心应用领域：广告、科学、用户界面、文化、日常生活。这五个领域几乎覆盖了现实世界中“文字承载信息”的绝大多数典型情境。广告领域的文字往往追求视觉冲击力和品牌辨识度；科学领域的文字要求术语精确、公式规范；用户界面中的文字需要简洁明了、布局合理；文化领域的文字常涉及书法、排版等艺术性表达；日常生活场景中的文字则更加多样化，可能是路标、菜单、购物清单或社交媒体通知。
这种场景划分背后的逻辑是：不同领域的文字生成难度与错误模式差异显著。广告文案偏向短句和品牌词，科学文本包含复杂术语和符号，UI文本强调结构化和一致性，文化文本注重美学风格，日常生活文本则包含大量非规范表达。单一评估集无法全面反映模型在各类真实应用中的表现。
在五大领域之下，进一步细分为25个具体子场景。例如广告类下设“实体产品”“旅游推广”“公益活动”等；科学类下设“物理”“化学”“材料科学”“生命科学”等。整个基准最终包含300条精心构造的提示词，每条提示词明确规定了画面中出现什么文字、文字出现在何种载体上（例如一张贴在墙上的告示、产品包装上的成分表、手机屏幕上的消息通知）、以及文字的预期长度和语义范畴。
这种细粒度的任务设计，使得开发者能够精准定位模型在特定场景中的短板。例如，一个模型可能在“文化类书法场景”中表现良好，但在“科学类化学公式场景”中频繁出错——这种差异对于模型优化方向的指导意义远大于单一的全局得分。
在设计评测指标时，团队引入了多维度的错误分类体系。除基础的字符错误率（CER）和单词错误率（WER）外，还细分了语义替换错误、语序颠倒错误、多余字符插入错误、以及文字与背景场景语义不一致错误。例如，“alge”替换“algae”属于字符错误，而将“CO2-neutral”写成“CO2-neutral neutral”则属于结构冗余错误。
此外，评测还引入了“任务完成度”指标，即视频中的文字是否完整满足了提示词中对内容、位置、格式的全部要求。一个模型可能正确拼写了所有单词，但遗漏了要求出现在画面左上角的标语——这种情况同样被记为失败。
为解决人工评测成本过高的问题，团队基于多模态大语言模型构建了自动化判分管线。该管线首先通过目标检测模型定位画面中的文字区域，然后利用光学字符识别（OCR）技术提取文本内容，再交由语言模型进行语义校验和错误分类。
值得注意的是，判分管线的设计并非简单地“识别出来再和标准答案比对”。由于视频中的文字可能受到运动模糊、遮挡、形变等因素干扰，直接要求精确匹配是不现实的。因此，评估过程引入了容错机制：对于轻微模糊但语义可辨的文字，如果核心词汇完全正确，仅个别字符不清晰，不记为错误；对于因透视变形导致的字符扭曲，如果语义可推断，也不计为拼写错误。这种容错设计使得评估结果更接近人类的主观判断——人类在看视频时，通常不会因为轻微的字体变形就判定文字写错了。
基于上述基准，研究团队对多款主流视频生成模型进行了系统的横评测试。结果显示，所有参与评测的模型在传统质量维度（画面美感、动作流畅度、物理合理性）上均取得了较高得分，部分模型甚至接近满分。然而，在文字准确率维度上，所有模型的表现均不理想，最高分的模型文字错误率仍超过30%，最低分的模型错误率则超过70%。
更值得关注的是错误分布的不均匀性。在“广告”场景中，错误主要集中在品牌名称和标语上——这类文字往往以艺术化字体呈现，增加了识别和生成难度。在“科学”场景中，错误主要来自术语拼写和公式结构。“用户界面”场景的错误则表现为文字溢出边界、控件标签语义混乱等问题。“文化”场景中的错误往往涉及书法笔画缺失或风格不一致。“日常生活”场景则暴露出模型对非规范文本（如手写体、涂鸦式文字）的生成能力明显不足。
另一个值得注意的发现是，视频分辨率和文字大小对生成准确率有显著影响。当文字占据画面面积比例低于5%时，几乎所有模型的错误率都会急剧上升；而当文字较大且居中时，多数模型能够正确生成。这说明现有模型的文字生成能力很大程度上依赖于视觉显著性——文字越是显眼，模型越容易“注意到”并正确处理。
从技术原理层面审视，视频生成模型在文字生成上的系统性缺陷，根源在于其训练目标与数据分布的内在偏差。
首先，主流视频生成模型采用扩散架构，其训练目标是从噪声中逐步还原出与训练数据分布一致的高质量视频。在这个过程中，模型学习的是视觉特征的整体统计规律——色彩分布、纹理模式、运动趋势、物体间的空间关系——但并未显式学习“文本符号的正确书写规则”。对于模型而言，一串文字与一片树叶、一块石头本质上都是视觉纹理，差异仅在于前者具有更强的语义约束。当模型需要生成一个不存在于训练数据中的具体拼写时，它本质上是在进行“视觉插值”，而非“精确检索”，因此容易产生似是而非的替代结果。
其次，训练数据的局限性不容忽视。视频训练数据的采集通常来自互联网公开视频、影视素材、用户上传内容等。在这些数据中，清晰、规范、语义完整的文字画面占比极低。大量场景中的文字是模糊的、遮挡的、残缺的，甚至部分视频中的文字本身就有拼写错误。模型在大量此类样本上训练，自然难以建立准确的字符映射关系。
第三，视频生成是一个时序建模过程。模型需要同时保证空间维度的视觉精度和时间维度的运动一致性。当镜头移动、物体旋转或场景切换时，同一段文字在不同帧中的形态会发生变化。模型必须在生成过程中持续跟踪这些变化，确保文字的形变和运动与场景物理规律一致。这种时空耦合约束极大地增加了生成难度——一个在单帧中正确的字，在下一帧中可能因运动模糊而失真。
面对视频生成模型文字能力不足的现实，开发者在实际业务落地中需要采取务实的技术策略。
策略一：后处理修正。对于包含关键信息（如产品名称、广告语、数据指标）的画面，可以在生成完成后引入OCR+校对环节。具体而言，生成视频后自动提取画面中的文字，与预设的正确文案进行比对，若发现错误则针对该区域进行局部重绘或修复。这一方案在计算成本可控的前提下，能够显著提升文字正确率，尤其适用于文字区域占比小、不随镜头剧烈运动的静态场景。
策略二：分层生成架构。将视频生成拆分为“无文字背景层”和“文字前景层”两个阶段。首先在无文字约束下生成画面主体，然后通过独立的文字渲染模块叠加准确的文本内容。这种方法可以最大化利用图像生成模型在纯视觉场景上的优势，同时将文字生成的复杂度隔离到一个专门的模块中。但需要注意的是，该方案要求前景文字与背景场景在光照、透视、遮挡关系上保持一致，工程实现难度较高。
策略三：语义约束引导生成。在提示词设计层面，将文字内容显式编码为语义约束，引导模型在生成过程中更精确地关注文字区域。例如，在提示词中添加“画面左侧贴有一张白色A4纸，纸上用黑色微软雅黑字体写着：Total Cost: $128.5”这类高度结构化的描述。实践表明，相比泛泛的要求“画面中出现一张告示”，明确到字体、颜色、位置、内容的提示词能够将文字正确率提升15%至25%。
策略四：多候选生成+智能筛选。在成本允许的情况下，对同一提示词生成多个候选视频，利用自动化评测管线对每个候选进行文字准确性评分，从中挑选最优结果。这一策略本质上是利用评测系统的判别能力来补偿模型的生成缺陷，在计算资源充裕的离线生产场景中颇为有效。
文字生成能力的提升，最终需要回到模型训练层面。一种可行的路径是将文字正确性作为训练信号纳入强化学习环节。具体而言，利用自动化评测系统对模型生成的视频进行即时评分，将文字准确率转化为奖励信号，引导模型在迭代过程中逐步优化文字生成策略。这种方法将使模型从“被动学习数据分布”转向“主动优化生成结果”，有望从根本上缓解文字错误问题。
与此同时，训练数据的质量筛选同样关键。在构建训练语料时，应大幅提升含清晰规范文字的样本比例，并对现有样本中的文字区域进行标注和清洗，剔除本身就包含错误的素材。数据层面的改善虽然见效较慢，但具有更持久的正面效应。
对于开发者而言，目前阶段最理性的做法是：在项目启动初期即引入文字评测机制，将文字准确率作为与画质、流畅度同等重要的核心指标。唯有让评测标准跟上业务需求，才能倒逼模型能力的实质性提升，真正让视频生成从“看起来不错”进化为“用起来可靠”。