简介：本文围绕视觉-语言-动作模型的技术争议展开，分析语言作为中间表示带来的误差、延迟与泛化问题，并探讨世界模型、原生动作映射等替代路线的优劣。读者可了解端到端自动驾驶的架构选择逻辑、不同方案在车端部署与规模化运营中的约束，以及如何从系统视角评估智能驾驶模型演进方向。
端到端自动驾驶在经历大规模参数堆叠后，仍然暴露出闯红灯、逆行、漏判动态障碍物等低级错误。这些问题并非单纯由数据量不足导致，而是源于模型缺乏对交通规则、物理约束与驾驶语义的显式理解。传统端到端模型直接将传感器输入映射为控制输出，虽然具备低延迟优势，但其内部表征高度压缩、难以审查，工程团队很难定位失败原因。
为了弥补这一缺陷，行业引入视觉-语言-动作架构。其核心思路是在感知与执行之间插入语言推理环节，使模型先将场景转化为自然语言描述，再依据描述生成驾驶决策。例如，当路口信号灯由绿变红，模型先形成“前方直行信号为红灯，当前车道不允许继续通行”的语义判断，再基于该判断产生制动指令。这种方式将驾驶行为拆解为可解释的认知链路，显著提升了模型对长尾场景的推理能力。
语言模块的优势还体现在数据利用效率上。大规模语言预训练积累了丰富的常识推理与因果判断能力，视觉-语言对齐后，模型可以借助已有知识理解罕见场景。对于需要逻辑推断的复杂交通环境，例如临时交通指挥人员手势与信号灯冲突、施工区域绕行、多车道博弈等，语言推理能够提供比纯视觉映射更稳定的决策依据。
然而，语言作为中间表示也带来结构性问题。视觉信息本身是高维、连续且时序密集的，而自然语言是离散、稀疏且损失大量空间细节的符号系统。将十秒级别的连续驾驶视频压缩为一段文字描述，再将该描述展开为车辆横纵向控制量，至少经历两次有损转换。第一次转换丢失几何精度与运动连续性，第二次转换则可能放大语义歧义，最终造成刹车时机偏差、转向角度不精确或可行驶区域边界误判。
在VLA流水线中，视觉编码器将多视角图像与时序特征压缩为场景token，语言生成器再依据token序列输出驾驶语义描述，最后动作解码器将描述转化为方向盘转角、油门开度与制动压力。两次转换中，任何一次出现偏差都会直接作用于车辆运动。
误差来源可从三个层面分析。首先是表示粒度不匹配。视觉特征包含目标的精确位置、速度、加速度与朝向，而语言描述通常只能表达类别与大致关系，例如“左前方有一辆速度较快的车”无法提供精确TTC信息。动作解码器只能基于抽象描述重建控制量，必然引入不确定性。其次是语言生成具有随机性。相同视觉输入在不同采样下可能生成措辞不同但语义相近的句子，这种随机性虽然有利于自然语言任务，但对安全性要求极高的驾驶决策而言不可接受。第三是时序一致性难以保证。连续帧输入可能生成前后矛盾的语言描述，导致动作输出抖动。
延迟问题同样不可忽视。语言生成采用自回归解码方式，token依次生成，句长越长延迟越高。对于高速场景，车辆每秒钟移动数十米，额外数百毫秒的推理时间可能显著压缩安全响应窗口。即便通过模型蒸馏与投机解码缩短生成长度，语言模块的计算开销仍高于直接视觉-动作映射。
此外，语言表达本身存在边界。有些驾驶知识可以被自然语言描述，例如交通规则、让行关系，但车辆动力学约束、轮胎附着极限、颠簸路面下的悬架响应等物理信息很难用文字表达完整。将这些信息显式转换为语言，反而破坏了端到端模型原本对复杂物理特性的隐式建模能力。
因此，有团队提出“世界动作”路线，跳过语言中介，直接建立视觉到动作的映射，同时要求模型内部形成对世界运行规律的理解。这种思路并非简单回归传统端到端，而是在训练目标中加入对场景未来状态的预测约束，使网络在不产生显式语言描述的前提下，内化交通参与者的运动趋势、碰撞风险与规则约束。其核心主张是：理解世界未必要通过语言表达，动作本身就是理解的最终体现。
世界动作架构可以理解为一种带预测能力的端到端模型。传统端到端将当前观测映射为即时控制，而世界模型则要求中间表征能够预测未来一段时间内的场景演变。预测目标可以是鸟瞰视角下的占据栅格、动态目标轨迹、可行驶区域变化或图像级未来帧。通过预测误差反向传播，模型被强制学习交通场景的运动规律与因果关系，从而在动作生成时具备更充分的环境认知。
这种设计的关键优势在于保持信息连续性。视觉特征不必先压缩为离散token，再恢复为连续控制量，而是以高维向量形式贯穿始终。模型可以直接利用空间几何信息计算精确的避障路径，同时在隐空间中进行多步推演，评估不同驾驶策略的后果。
预测模块的引入还提升了样本效率。模型不仅学习“当前状态应该采取什么动作”，还学习“当前状态将如何演变”。后者是一个自监督任务，可以从海量未标注驾驶视频中提取训练信号，减少对人工标注或专家示范的依赖。通过辅助预测损失，网络在参数规模有限时也能获得更好的泛化性能。
但世界模型的工程门槛同样较高。要实现对动态交通场景的长时预测，需要大量算力与内存。预测时域越长，空间分辨率越高，计算开销越大。实时推理要求网络在几毫秒内生成多步未来场景，这对车载芯片的并行处理能力、显存带宽与算子优化提出严苛要求。因此，部分实现将完整世界模型部署在云端，用于离线仿真、数据挖掘与算法验证，车端则部署经过蒸馏的轻量策略网络。
架构选择还受到商业模式影响。对于以销售辅助驾驶功能为主的企业，优化单车成本、降低车端算力需求是关键约束，VLA通过语言预训练模型复用知识，能够在有限车端资源下提供可解释的智能体验。对于以大规模无人化运营为目标的企业，则更看重世界模型带来的决策一致性与复杂场景适应能力。两种路线并非绝对互斥，而是在不同部署形态与运营目标下各有取舍。
VLA训练通常分为多个阶段：先进行视觉编码器与语言模型的联合对齐，使二者在特征空间保持一致；再引入驾驶指令数据，训练语言生成与动作解码之间的映射；最后通过强化学习或偏好对齐，减少不安全行为。各阶段任务明确，便于团队排查模型能力短板，但也存在误差跨阶段累积的问题。
世界动作模型的训练更强调联合优化。在统一损失函数下，预测损失、动作模仿损失与安全约束同时更新网络参数。这样可以避免分阶段训练带来的表示冲突，但对训练基础设施要求更高。需要同时加载多模态输入、维护长序列记忆并计算多步预测梯度，训练集群的存储、通信与调度能力成为瓶颈。
数据层面，VLA可以借助互联网规模的语言数据提升常识推理，但将语言知识与驾驶行为对齐时，仍需大量真实驾驶数据作为监督信号。世界模型则更依赖视频预测数据，对数据质量与多样性要求更高。极端天气、夜间场景、突发事故等长尾数据的覆盖程度，直接决定预测模型能否学到可靠的环境演变规律。
仿真环境在两条路线中都扮演重要角色。语言模型可以借助仿真生成多样化的场景描述，并通过文本注入构造罕见案例，快速扩展训练集。世界模型则可以把仿真器视为可微环境，直接在预测空间中进行策略搜索，避免真车测试的高成本与安全风险。闭环仿真能够暴露模型在复杂博弈中的不足，将失败案例回流至训练集，形成持续改进的数据闭环。
尽管路线存在分歧，实际量产系统很少采用单一纯架构。更常见的做法是在端到端基础上引入受控的语言监督信号，将其作为训练辅助而非推理必经环节。语言标注在训练阶段帮助模型理解场景语义，推理阶段则移除语言生成模块，由视觉编码器直接驱动动作解码器。这样既能利用语言知识提升数据标注效率与场景理解能力，又避免了在线翻译带来的误差与延迟。
另一种折中方案是双支路设计。主干网络采用视觉-动作直接映射保证基础响应速度，同时在云端或高算力平台上运行语言推理支路，对复杂场景进行慢速深度分析。当语言支路识别到高风险语义冲突时，通过仲裁模块调整主干决策。这种架构将快慢系统结合，兼顾实时性与逻辑推理能力，在工程上更易实现渐进式升级。
从系统视角看，模型架构选择还受限于传感器配置、地图信息可用性、芯片算力与功能安全等级。某些场景下，接入高精地图先验可以大幅降低对语言推理的依赖，因为车道级拓扑与规则信息已经显式化。某些场景下，语言推理可以替代地图信息，提升系统在未知区域的泛化能力。因此，架构决策需要在感知、定位、规划、控制全链路中综合评估。
未来更值得关注的是如何评估中间表征的质量。一个良好的世界表征应当同时满足三方面要求：对当前场景的空间几何保持高保真；对动态目标运动趋势具有预测能力；对驾驶任务相关的语义属性具备可分离性。通过设计针对性探针任务，可以量化中间表征在不同维度上的表现，从而指导模型结构搜索与训练策略调整，而不是仅依赖端到端指标判断架构优劣。
视觉-语言-动作模型为端到端自动驾驶引入了可解释的推理能力，解决了传统黑箱模型在复杂交通语义理解上的短板。但语言作为中间表示造成的两次翻译误差、自回归生成延迟与信息粒度损失，使其在精细控制与实时响应方面面临挑战。世界动作路线通过视觉到动作的直接映射与预测约束，试图保留端到端的信息连续性，同时强制模型学习物理世界里交通演变规律。两条路线分别对应不同的产品定位、算力约束与运营目标。随着训练范式与部署架构的持续演进，语言监督信号可能更多出现在离线训练与云端分析中，而车端推理则逐步向原生视觉-动作映射与可控预测融合的方向发展。智能驾驶系统架构的最终形态，将取决于复杂场景理解能力、实时响应性能与工程可维护性之间的平衡。