一、概念定义:VLM-VLA 到底是什么
VLM-VLA 是自动驾驶技术演进中形成的一组相互关联的能力体系,由两个概念组合而成:
- VLM(Vision-Language Model,视觉语言模型):能够同时理解图像(视觉)与文本(语言)信息的多模态模型。它可以把复杂的驾驶场景”翻译”成人类可读的语言描述,具备场景理解、语义推理与常识判断能力。
- VLA(Vision-Language-Action,视觉语言动作模型):在 VLM 的感知与理解能力之上,进一步输出可执行的驾驶动作(如轨迹点、控制指令)。它把”看懂场景”升级为”做出决策并规划路径”。
从技术视角看,VLM-VLA 的核心是把传统的模块化自动驾驶流水线(感知 → 预测 → 规划 → 控制)逐步融合为一个由数据驱动、具备语言推理能力的端到端模型。它不是简单替换某个模块,而是用统一的神经网络同时承担场景理解、因果推理与动作生成,从而缓解模块间误差累积与信息损耗问题。
从使用视角看,VLM-VLA 的价值在于:让自动驾驶系统具备可解释性(能以语言形式说明”为什么这样开”)与更强的泛化能力(面对未见过的场景时,可借助语言常识做出合理判断)。
二、背景与价值:为什么需要 VLM-VLA
传统自动驾驶依赖分工明确的模块:感知模块负责识别车辆与行人,预测模块估计他车轨迹,规划模块生成路径。这种结构工程成熟、易于调试,但存在三个固有短板:
- 模块割裂导致信息损失:各模块独立优化,上游的错误会向下游传播,且无法联合求解全局最优。
- 缺乏高层语义推理:面对”施工路段临时改道””交警手势覆盖信号灯”这类需要常识判断的长尾场景,纯几何与规则方法难以应对。
- 可解释性不足:黑箱的决策难以追溯原因,不利于问题定位与安全监管。
VLM-VLA 引入语言模态后,模型可以在隐式的”思维链(Chain of Thought, COT)”中显式地推理——先描述场景,再分析意图,最后给出动作。这种”边想边开”的范式显著提升了对复杂、模糊、非结构化场景的处理能力。
三、核心组成:VLM-VLA 的关键模块
一个典型的 VLM-VLA 系统通常包含以下组成部分:
- 视觉编码与多模态融合层:将前视相机、环视相机等多路图像编码为视觉特征,并与语言指令(导航目标、驾驶意图)进行对齐融合。
- 视觉—语言主干网络:承担场景理解、目标识别与语义推理,通常以大规模预训练的多模态大模型为基础。
- 动作专家/动作头(Action Expert / Action Head):将模型内部的语义表征映射为连续或离散的驾驶动作。为避免离散分词带来的数值不精确,业界倾向于采用连续动作回归或潜空间(Latent)动作预测。
- 思维链推理模块(可选):在输出动作前生成中间推理文本,增强决策的可解释性与合理性。
- 世界模型(World Model)协同模块(可选):通过预测未来观测(下一时刻的图像/状态),为动作生成提供更充分的监督信号,缓解数据稀疏与监督不足问题。
在结构上,部分方案还引入混合专家(MoE, Mixture of Experts)等轻量模块,使不同的动作专家针对不同路况分工,兼顾能力与推理效率。
四、工作原理:从数据到决策的完整链路
VLM-VLA 的运行可以拆解为”训练—推理”两条主线。
训练阶段通常分为几步:
- 数据构建与标注:从多个公开驾驶数据集中筛选长尾、复杂场景(如道路边界模糊、临时交通规则变更、非传统动态障碍物、复杂路况等),保留有效片段(如约 8 万个 clip)。标注时先使用具备思维链能力的多模态大模型生成场景描述与推理文本,再进行人工质检,确保数据质量与语义准确。
- 场景分类与均衡:对原始数据按固定间隔抽样(如抽取约 10%)构建样本集,借助大参数量视觉语言模型对场景进行文本描述与分类,避免闭集偏置,使训练分布更贴近真实世界。
- 监督微调(SFT):常分为两阶段——第一阶段只训练语言主干,使用思维链数据建立推理能力;第二阶段进行全参数微调,让模型学会端到端输出动作。
- 强化学习后训练(可选):由于监督微调后的模型预测轨迹往往过于单一,在强化学习中缺乏可探索空间,部分方案引入强化学习(如群体相对策略优化类算法)恢复探索能力,并对感知、预测、规划进行联合优化。
推理阶段:模型接收实时图像与语言/导航指令,经过多模态融合与思维链推理,输出可执行的轨迹或控制动作,直接驱动车端执行。
五、典型应用场景
VLM-VLA 尤其适合处理传统方法力不从心的复杂路况:
- 道路边界模糊的场景:如车道线磨损、无标线路段,模型可借助语义常识推断可行驶区域。
- 临时交通规则变更:如施工改道、临时管制,语言推理能力可理解并响应非常规规则。
- 非传统动态障碍物:如掉落货物、异形障碍物,模型基于视觉理解而非预定义类别进行判断。
- 复杂交互路况:如密集车流博弈、无信号灯路口通行,端到端联合优化有助于做出连贯决策。
六、相关概念区别
- VLM 与 VLA 的区别:VLM 侧重”理解与描述”,输出是语言或语义;VLA 在其之上增加”动作生成”,输出是可执行控制量。VLA 通常包含 VLM 的能力。
- VLA 与传统模块化方案的区别:模块化方案各阶段独立、可解释性强但误差累积;VLA 端到端联合优化,泛化性与全局一致性更好,但训练难度与算力需求更高。
- VLA 与世界模型的区别:VLA 关注”给定观测输出动作”,世界模型关注”给定历史与动作预测未来”。二者可结合训练——世界模型通过预测未来帧为 VLA 提供额外监督,从而放大数据规模带来的收益。
- 离散动作与潜动作的区别:离散分词会将连续轨迹量化,带来数值误差;潜动作预测在连续潜空间中建模,精度更高,是当前优化方向之一。
七、使用注意事项
在实际选型与落地中,需要重点关注以下方面:
- 数据质量优先于数量:思维链标注的质量直接决定推理能力上限,务必建立”自动标注 + 人工质检”的双重校验机制。
- 警惕语言偏差:过度依赖语言标注会引入偏差并加重标注负担,可考虑自监督的潜动作预测,通过知识蒸馏将大模型的泛化能力迁移到轻量视觉网络。
- 算力与实时性权衡:大规模多模态模型推理成本高,车端部署需关注模型轻量化(如 MoE、蒸馏、量化)与端到端延迟。
- 强化学习的可探索性:监督微调后需评估模型输出的多样性,必要时用强化学习恢复探索能力,避免策略过早收敛到单一轨迹。
- 数据分布均衡:抽样与场景分类应覆盖长尾,防止模型在常见场景上过拟合、在罕见场景上失效。
- 基础设施支撑:训练与数据处理环节可依托通用的对象存储、容器平台、分布式训练与监控告警等云能力,百度智能云等主流平台提供的通用类目能力可为大规模数据流水线与模型训练提供支撑,具体选型应结合自身数据规模与合规要求进行。
八、总结
VLM-VLA 本质上是把视觉理解、语言推理与动作生成统一到端到端框架中的自动驾驶技术范式。它的核心价值在于用语言化的思维链提升复杂长尾场景的可解释性与泛化能力,并通过感知—预测—规划的联合优化突破模块化流水线的固有瓶颈。其能力边界也很清晰:训练依赖高质量数据与充足算力,车端部署需解决实时性与轻量化问题,语言模态需谨慎使用以避免偏差。理解”它是统一的多模态决策模型”这一本质,是把握其原理、场景与工程取舍的关键。