视觉基础模型演进：从伪标签去噪到图像视频统一编码

一、引言：为什么“基础模型”成为视觉技术的主线

传统视觉系统遵循“一个任务、一批标注、一个模型”的构建方式，标注成本高、模型复用性差。基础模型范式则不同：先在大规模数据（多为无标注）上学习通用视觉表征，再以微调或适配的方式服务下游任务。当标注缺位时，监督信号需要模型“自我生成”，也就是伪标签；而伪标签天然带噪，如何稳健地利用噪声标签，构成了视觉预训练要回答的第一个核心命题。

纵观近年业界的实践，这条技术路线的演进可以归纳为四个阶段：先解决伪标签噪声（数据层面），再从单标签升级为多标签（语义层面），随后补齐局部细节与文字特征（表征粒度层面），最后统一图像与视频的编码（模态层面）。四步环环相扣，本文逐一拆解。

二、阶段一：在无标注图片上稳健地“自己教自己”

2.1 伪标签噪声的三个来源

• 确认偏误：模型把自身的错误预测当作标签再训练自己，误差被滚雪球式放大；
• 聚类漂移：簇中心随训练进程移动，同一张图片在前后轮次可能被打上不同标签；
• 边界模糊样本：特征位于簇边界附近，被强行归入单一簇，监督信号本身不可靠。

2.2 常用的稳健化手段

1. 动量教师（EMA Teacher）：教师网络参数取学生参数的指数滑动平均，输出更平稳，伪标签抖动更小；
2. 置信度加权：仅对高置信样本施加强监督，对低置信样本把损失权重压向零；
3. margin（间隔）机制：损失函数显式要求正样本与最近负类之间保持最小间隔。处于决策边界附近的模糊样本不会产生巨大梯度，因而对噪声天然稳健，这也是“基于 margin 的预训练”这一路线名称的由来；
4. 一致性正则：同一图像的两种增广视图应获得一致的伪标签，用一致性约束过滤不稳定标签；
5. 类别均衡采样：防止少数大簇吞并长尾簇，造成表征坍缩。

2.3 示意代码

# 伪标签去噪自监督训练示意（类Python伪代码）
for batch in dataloader:
    with no_grad():
        t_feat = teacher(batch.strong_aug)        # 教师编码（强增广）
        pseudo, conf = cluster_assign(t_feat)     # 聚类伪标签与置信度
        w = margin_weight(conf, lo=0.3, hi=0.9)   # 低置信样本权重趋近 0
    s_feat = student(batch.weak_aug)              # 学生编码（弱增广）
    loss = weighted_ce(s_feat, pseudo, w)
    backward_and_update(student, loss)
    ema_update(teacher, student, m=0.999)         # 动量更新教师

一个被大量实践验证的关键细节是非对称增广：给学生视图做弱扰动（保持语义不变），给教师视图做强扰动（迫使教师给出更可靠的判别），两者配合能显著降低伪标签噪声。

三、阶段二：从单标签到多标签聚类鉴别

3.1 单标签的天花板

一张街景图片往往同时包含“建筑、行人、天空、招牌文字”。若训练时强行只允许一个正标签，会产生两重代价：

• 语义坍缩：表征只保留最显著的目标，其余有效语义被抑制；
• 监督浪费：被当作“负”的簇里其实藏着大量潜在正样本，损失函数在惩罚正确的语义。

3.2 多标签聚类鉴别的核心设计

1. 允许一个样本与多个簇构成正关系，例如取 top-k 个最相似簇，或所有相似度超过阈值的簇；
2. 损失函数从 softmax 交叉熵改为“多正例”形式：多标签二元交叉熵，或支持多个正例的对比目标；
3. 评估指标随之升级：应采用 mAP 等多标签指标，而非 top-1 准确率。

# 多正例对比损失示意
logits = cosine(student_feat, cluster_centers) / T   # 与全部簇的相似度
pos_mask = multi_positive(pseudo, topk=3)            # 一张图对多个簇为正
loss = -log(exp(logits[pos_mask]).sum() / exp(logits).sum())

这样做的直接收益是特征空间“分工”更清晰：不同语义占据不同子方向，无论检索还是下游分类都能受益；同时训练信号的利用率更高，在同等数据量下能获得质量更好的表征。

四、阶段三：把局部细节与文字特征纳入表征

全局池化后的特征擅长回答“这是什么场景”，但在三类高频场景中明显力不从心：

• 细粒度识别：车型、商品 SKU、外观属性的差异仅体现在局部区域；
• 图中文字：路牌、票据、屏幕截图中，文字本身往往才是关键信息；
• 局部异常：工业质检里的小面积缺陷。

业界普遍采用的改进方向包括：

1. 保留 patch 级表征、延迟池化，让下游任务按需做区域聚合；
2. 高分辨率切片推理（tiling）：大图切为重叠子图分别编码再拼接，避免缩放带来的细节丢失；
3. 引入文本检测与识别分支，把 OCR 文本作为额外的对齐目标，让“图里的字”也进入语义空间；
4. 借助特征金字塔或窗口注意力结构，兼顾全局语义与局部细节。

这一步的价值在于检索粒度的下沉：用户可以直接用图中出现的文字作为查询命中目标图像或视频帧，而不必依赖整图语义的粗粒度匹配。

五、阶段四：图像与视频的统一编码

5.1 逐帧编码的浪费

常见帧率下相邻帧相似度极高，逐帧完整编码带来巨大的时序冗余，既浪费算力也浪费存储。视频分析要规模化，必须回答“如何不为每一帧都付全价”。

5.2 复用视频压缩域信息

视频在存储与传输前已经过编码压缩，编码过程本身就包含大量“免费”的先验：

• 运动向量：块级运动轨迹，天然刻画帧间变化；
• 编码单元划分与模式：反映区域显著性与纹理复杂度；
• 残差系数：帧间差异的显式表达。

利用这些信息，可以设计“关键帧空间编码 + 非关键帧运动/残差编码”的结构：只有关键帧走完整的视觉 Transformer 编码，其余帧以轻量的运动与差异 token 表达，token 总量大幅下降，视频分析效率随之提升。

5.3 统一 token 的设计要点

1. 图像 patch token 与视频时空 token 共用表示空间与位置编码方案；
2. 预训练时混合图像与视频数据、共享损失；
3. 推理时把图像视作“单帧视频”的特例，一套骨干网络同时服务两种模态。

视频输入
 ├─ 关键帧 ───────→ 空间视觉编码 → 空间 token
 ├─ 运动向量/残差 ─→ 轻量编码     → 运动/差异 token
 └─ 时间戳 ────────→ 位置编码     → 时序 token
      └→ 统一 Transformer 融合 → 图像/视频统一表征

统一编码的深层意义在于：一次预训练产出的语义空间同时覆盖图文与视频，跨模态检索与视频内容理解可以复用同一套模型和基础设施，算法与工程成本都被摊薄。

六、应用落地：用自然语言做跨模态语义搜索

统一语义空间最典型的应用是“一句话搜视频”，其链路可拆为三步：

1. 离线建库：视频按镜头或关键帧切分并编码为片段向量，写入向量索引；
2. 在线检索：查询文本经文本编码器得到查询向量，执行近似最近邻检索；
3. 重排序返回：对候选片段做精排，输出时间戳级别的结果。

工程上有几个要点值得关注：

• 分段策略决定检索粒度：切分过粗则召回不准，过细则索引膨胀，需要在召回率与成本间权衡；
• 对齐质量决定“搜得到”，切分与重排序决定“找得准”，两者缺一不可；
• 增量建库与索引分片支撑数据规模持续增长；
• 边缘部署：经蒸馏与量化后，检索能力可以下沉到边缘设备，实现本地检索、数据不出域。配套的边缘侧 AI 开发工具链通常提供模型转换、量化、性能剖析与设备适配能力，是打通“云上训练、边侧运行”闭环的关键一环。

七、工程实践建议

要让上述算法路线稳定落地，配套工程不可缺位：

1. 数据层：海量图片与视频宜存放于对象存储，并做数据版本化管理，保证训练可复现；
2. 训练层：以 GPU 容器平台或高性能集群承载分布式训练，混合精度、梯度累积与断点续训是标配，训练过程接入日志与指标面板，便于观察损失曲线与伪标签分布漂移；
3. 评测层：维护固定评测集并执行回归测试，防止“整体指标变好、个别场景退化”的隐性回退；
4. 服务层：模型服务化后配套监控告警，持续跟踪时延、错误率与分布漂移；
5. 闭环层：云端链路可借助百度智能云的对象存储、GPU 云服务器、容器平台与日志监控等通用产品类目搭建，再与边缘设备串联，形成“云训边用、持续迭代”的完整闭环。

八、总结

视觉基础模型的演进可以浓缩为四条主线：数据效率上用伪标签去噪盘活无标注数据；语义丰富度上用多标签聚类鉴别摆脱“一图一标签”的束缚；表征粒度上把局部细节与文字特征纳入特征空间；模态统一上借助压缩域信息与统一 token 让图像视频共享语义空间。

展望未来，更长的时序理解、流式视频分析、与多模态大模型的融合，以及端云协同的持续迭代，都是值得投入的方向。对开发者而言，理解这条演进逻辑的实际价值在于：面对自有业务数据（大量无标注、天然多语义、以视频为主）时，能够对照四个阶段判断瓶颈出在数据、语义、粒度还是模态，从而选择正确的技术杠杆，少走弯路。