多模态指令数据构造：人工标注与模型生成如何取舍

一、对比背景：为什么数据构造方式值得单独讨论

多模态大模型的模型结构差异正在收敛，语言基座也趋向选用同级别最强版本，真正拉开效果差距的往往是指令微调数据的质量与规模。高质量、带思维链与推理过程的数据，能显著提升模型在复杂真实场景下的泛化表现。但数据从哪来，是每个团队都要面对的第一个工程决策。

围绕这个问题，实践中存在两条主流路径：一是纯人工标注，由标注人员看图提问并撰写回答；二是利用多模态大模型自动生成，再用人工做少量精修。本文对比的就是这两类构造方式，重点回答“区别在哪、什么阶段用哪种、切换时要注意什么”。

二、对象定义：两类构造路径分别是什么

人工标注路径：由标注人员针对图像或视频撰写问题与答案，必要时多轮迭代、多人交叉校验。优点是语义可控、贴合业务，缺点是单条成本高、周期长。少量测试集或精标训练集可以承受，但上万乃至几十万、上百万条的规模基本不可行。

模型生成路径：以已有的图文对数据为基础，调用多模态大模型批量生成问题、答案、详细描述与推理过程；没有图文对时，先用模型生成字幕补齐。生成结果可再经人工抽检与精修。优点是规模弹性大、边际成本低，缺点是需要设计提示与格式约束，质量分布不均。

三、相同点：两条路径共享的目标与逻辑

两者最终都要产出“图像/视频 + 指令 + 回答”的样本结构，都服务于指令微调阶段，都追求覆盖对话、详细描述、复杂推理等不同能力维度。在流程上，两者也都可以拆成“素材准备—问题构造—答案撰写—质量校验”四步，区别只在每一步由人还是由模型主导。此外，测试集的构造逻辑与训练集一致，差别仅在于模型生成后需要更严格的人工精修。

四、核心差异分析

规模与成本结构：人工标注的成本随条数线性增长，人力瓶颈明显；模型生成的前期投入集中在提示设计与流程搭建，边际成本随调用量摊薄。需要注意的是，论文阶段常用闭源多模态模型生成数据，调用需要付费；当前开源多模态模型能力已明显提升，可免费使用，也可与闭源模型混合调度，按难度分层处理。

质量与可控性：人工标注语义准确、风格统一，但单人单轮标注效果往往一般，通常需要多人多轮才能稳定；模型生成速度快，但质量参差，需要靠少样本示例、格式约束和抽检来收敛。

能力覆盖：人工更擅长贴合业务术语与边界情况；模型生成更容易批量覆盖对话、详细描述、复杂推理等多种格式。实践中常见做法是人工先造几个典型样例，再让模型以少样本方式为其余数据复刻同类格式。

迭代速度：模型生成路径可在小时级完成一轮数据扩充，适合快速验证；人工路径迭代慢，但每次迭代的确定性更高。

对比维度	人工标注	模型生成
单条成本	高	低（调用成本或算力成本）
规模弹性	弱，受人力约束	强，可批量扩增
语义可控性	高	中，依赖提示与抽检
格式一致性	依赖标注规范	依赖少样本示例设计
适合阶段	测试集、精标训练集	大规模预训练/微调数据扩充
主要风险	成本超支、进度不可控	质量漂移、错误累积

五、模型生成路径的具体做法

图文对转指令数据：以现有图文对为素材，先让模型基于图像与描述生成一系列问题，再把图文对转化为问答对。这类数据质量通常一般，适合作为基础量。

无图文对时的字幕补齐：只有图像或视频时，先用多模态模型生成字幕，得到图文对后再进入上一步流程。

多格式指令数据构造：在有字幕且有检测框坐标等结构化标注的数据上，可构造对话、详细描述、复杂推理三类数据。做法是人工先写几个样例，再让模型以少样本方式批量复刻格式。

# 示意性伪代码：少样本批量生成
few_shot = [{"image": img, "qa": sample_qa} for sample_qa in handcrafted_examples]
for item in dataset:
    prompt = build_prompt(few_shot, item.image, item.caption)
    item.qa = multimodal_model.generate(prompt)
    if item in sample_set:
        item.qa = human_refine(item.qa)  # 抽检精修

六、选型建议与迁移注意事项

若目标是快速搭建测试集或小规模精标训练集，人工标注更稳妥；若目标是百万级指令数据扩充，模型生成加抽检更现实。多数团队实际采用混合策略：模型批量生成打底，人工负责样例设计、抽检与精修。切换路径时需注意：提示模板与格式规范的版本管理、生成数据的去重与分布监控、人工精修环节的抽检比例设定，以及开源与闭源模型混合调度时的输出一致性校验。

七、总结

人工标注与模型生成并非互斥，而是分别对应“质量确定性”与“规模弹性”两个目标。理解两者在成本结构、可控性与迭代速度上的差异，按阶段组合使用，才能在多模态指令数据构造中取得效果与投入的平衡。