一、对比背景：为什么这两条路线值得比

让机器人“看懂指令、动手干活”，目前业界主要有两条技术路线。

第一条是端到端专用模型，即VLA（视觉-语言-动作）模型：把摄像头画面和人类指令直接翻译成机器人关节动作。它的训练方式简单直接——收集成千上万条人类遥操作机器人的录像，让模型大量学习“看到这个场景，就该这样动胳膊”。在训练覆盖过的任务上，这类模型的成功率可以冲到98%以上。但近期有研究团队把多个主流VLA模型直接投入从未训练过的新场景，零样本成功率是0%，整整为零。不是模型不行，而是它们压根没在那个“菜系”里学过菜。

第二条是通用大模型驱动方案：用通用视觉语言模型（VLM）充当机器人的“大脑”，负责思考与规划；具体执行交给外部专用工具，如专门的抓取模型、运动规划器、图像分割工具等。这条路线听起来更聪明，但现实是系统越堆越复杂，多个模型互相配合，哪个环节出错都难以归因，而且外部工具本身也需要专门训练和维护。

于是就有了一个扎心的问题：通用大模型这几年突飞猛进，能看图、会推理，为什么不能让它跳过外部工具，像老师傅带学徒那样，看一眼、想一步、动一下、再看看效果对不对？近期某研究团队的工作正是回答这个问题，其结论对两条路线的选型都有直接参考价值。本文将围绕这两条路线展开系统对比。

二、对象定义：先说清楚对比双方是什么

1. VLA模型（视觉-语言-动作模型）

VLA是一种把视觉输入（摄像头画面）、语言输入（人类指令）直接映射为机器人关节动作序列的神经网络。它的核心特征是“端到端”：感知、理解、决策、动作输出在一个模型内完成。训练上以模仿学习为主，依赖大规模人类示教数据，模型本质上是一个高度特化的“场景-动作”条件映射器，能力上限由训练数据覆盖度决定。

2. 通用VLM驱动方案

VLM（视觉语言模型）指能同时理解图片和文字的通用AI模型，其能力来自互联网级的大规模预训练，而非专门为机器人动作训练。用它驱动机器人目前有两种子形态：

• 分层式：VLM负责场景理解、任务分解与规划，动作执行交给外部专用工具（抓取模型、运动规划器、分割工具等）；
• 直驱式：VLM直接输出动作决策，不依赖外部动作模型——这正是研究团队试图验证可行性的方向。

两者的本质区别在于“智能”与“执行”的分工方式：VLA把二者压缩进一个模型，VLM方案把二者拆开，或尝试全部交给通用模型。

三、相同点：它们在解决同一个问题

尽管路线不同，两条方案在多个底层维度上是一致的：

1. 目标一致。都要解决“机器人如何理解环境并完成操作任务”这一核心问题，输入都包含视觉与语言，输出都指向可执行的动作或计划。
2. 都依赖视觉语言基础能力。无论哪条路线，场景理解和指令理解都是前置能力，通用视觉语言技术的每一次进步都会同时惠及两条路线。
3. 都要面对真实世界的不确定性。光照变化、物体位姿差异、干扰物出现、任务描述的模糊性，是两条路线共同的评估维度，也都无法回避。
4. 都需要工程化配套。数据采集、仿真验证、安全护栏、日志监控、失败恢复，任何方案要落地，这些工程环节都绕不开。这也是为什么选型时不能只看模型榜单，还要看团队自身的工程能力。

四、核心差异：五个维度的深入对比

1. 训练方式与数据依赖

VLA路线的数据逻辑是“用示教换能力”：需要通过遥操作录制大量人类操作录像，采集成本高、周期长，且数据覆盖度直接决定能力边界——没采过的场景就是盲区。通用VLM路线的底座能力来自预训练，不需要专门的机器人示教数据即可承担理解与判断类任务；若要提升动作能力，需要的是补强“看懂画面”的标注，而非重录整套动作示教。

2. 泛化能力：最刺眼的差距

VLA在训练任务内表现极好，但换个灶台、换个食材摆放位置就立刻手足无措。前述研究团队将多个主流VLA模型直接投入未训练的新场景，零样本成功率为0%。这说明VLA学到的更接近“记忆”而非“理解”，泛化边界几乎等于数据边界。相比之下，VLM在判断类任务上表现出一定的天然泛化性——它见过足够多的图像与语言组合，“看懂”这件事可以跨场景迁移。

3. 系统架构与复杂度

VLA是端到端架构，链路短、组件少，出了问题容易定位。VLM分层方案则是典型的多组件系统：VLM、抓取模型、运动规划器、分割工具各司其职，任何一个环节出错都会传导到最终表现，误差归因困难；外部工具本身也需要训练、维护与版本管理，系统复杂度随功能增长持续上升。直驱式架构理论上可以大幅削减组件数量，但其可行性正是当前研究要验证的问题。

4. 能力边界：240题诊断测试给出的实证

研究团队没有急着搭建系统，而是先做了一次“体检”：设计240道诊断题，考察VLM在机器人操作中必须反复回答的三个问题——

• 接下来该干什么（动作选择）；
• 刚才的动作有没有推进任务（进展判断）；
• 当前这步算不算完成（完成判定）。

结果耐人寻味：动作选择是所有模型的共同短板，最低准确率仅18.75%，表现最好的通用模型也只有约60%；而进展判断与完成判定两项，普遍能达到50%到80%。

这组数字说明一件事：让VLM凭空想象出一整套精确的机器人动作（比如往哪个方向移动多少毫米），是它的能力短板；但让它解读“我看到的画面说明了什么”，它反而擅长得多。这就像让一位经验丰富的大厨评价一道菜咸不咸、火候够不够，他一尝便知；但要他闭着眼睛凭感觉说出“再加多少克盐、炒多久”，大概率出错。

5. 迭代方式与成本结构

VLA的迭代瓶颈在数据：新增任务要补采示教、重新训练，周期以数据采集为锚点。VLM方案的迭代瓶颈在集成：升级底座模型可能带来行为漂移，多组件的接口对齐、回归测试成本不低。接入门槛上，VLM方案更轻——企业可以通过云上模型服务快速接入（例如百度智能云等平台提供的模型服务即属此类通用能力），而VLA路线需要自建数据采集与训练链路，前期投入明显更重。

用示意性伪代码对比两条路线的系统形态：

# 路线一：端到端VLA，一个模型完成感知到动作
action = VLA(摄像头画面, 语言指令)
robot.execute(action)
# 路线二：VLM分层驱动，智能与执行分离
plan = VLM(摄像头画面, 语言指令)          # 理解与规划
for step in plan:
    target = 抓取模型(场景)               # 专用执行工具
    traj = 运动规划器(target)             # 专用执行工具
    robot.execute(traj)
    done = VLM(新画面, "该步骤是否完成")   # 状态判断

五、一张表看懂关键差异

对比维度	专用VLA模型	通用VLM驱动方案
能力来源	海量机器人示教数据	大规模预训练，可选轻量适配
训练任务内成功率	高，可达98%以上	取决于架构与工具链质量
零样本泛化	弱，实测可为0%	判断类任务具备一定泛化（50%~80%）
精确动作生成	强，直接输出关节动作	弱，凭空想象精确动作是短板
状态理解与判断	隐含在策略中，难解释	相对擅长，可解释性更好
系统复杂度	端到端，链路短	分层式组件多、归因难；直驱式尚在验证
迭代方式	补数据、再训练	换更强底座或调整流程
数据采集成本	高（遥操作录制）	低（判断类任务可复用预训练）
适用范围	固定任务、重复性作业	开放场景、理解与判断密集的环节

六、典型场景：什么情况选哪条路

1. 适合VLA的场景：产线上固定的分拣、装配、码垛等作业；任务种类有限但重复频次高；有条件采集大量示教数据；对任务内成功率要求极高。此时VLA的任务内表现和端到端简洁性是最大优势。
2. 适合以VLM为核心的场景：任务种类多变、环境开放不可穷举；核心瓶颈在“理解与判断”而非“精确动作”；团队不具备大规模数据采集能力；希望借助大模型能力红利快速验证新任务。
3. 混合形态是当前更现实的落点：用VLM承担高层规划与状态判断（它擅长的），用专门动作模块或VLA承担底层执行（它擅长的）。240题诊断测试实际上给出了一个重要提示——与其强求VLM硬做动作生成，不如让它在“看懂、判断、评估”这些强项上承担更多职责，把“精确执行”留给专门组件。

七、选型建议：条件化判断

• 若任务固定、数据可采集、追求任务内成功率：优先考虑VLA路线，其98%以上的任务内表现目前难以替代。
• 若任务开放、变化频繁、判断需求重：优先考虑以VLM为核心的架构，动作执行交给专门模块，避免让通用模型直接生成精确动作。
• 若团队运维能力有限：端到端VLA链路更短、问题定位更容易；分层架构需要更强的多组件工程与监控能力。
• 若希望跟随大模型能力升级：VLM路线的升级路径是“换更强底座”，成本结构不同于VLA的“补数据重训”，长期看弹性更大，但需接受当前动作能力的短板。
• 若预算与时间受限、需要快速验证：可先基于云上模型服务搭建VLM原型验证任务可行性，再决定是否投入VLA的数据采集与训练。

八、迁移与落地注意事项

1. 数据与接口：从VLA切换到VLM方案，原有示教数据并非作废，可用于训练动作模块或构建评估集；接口上需要重新划定感知、规划、执行的边界，明确各组件的输入输出契约。
2. 先诊断、后选型：建议参照“三问”诊断（下一步动作、进展判断、完成判定）在自身场景中做能力摸底，再决定职责划分，避免照搬论文结论。
3. 安全护栏不可省：VLM直驱动作的可靠性尚未达到生产级，必须保留动作校验、行程限位、急停机制与人工接管通道。
4. 版本与回归：多组件系统中任何模型升级都可能引起行为漂移，应建立固定的回归测试集与灰度发布流程。
5. 成本评估要全面：云上模型服务通常按调用量计费（通用维度），高频调用下的延迟与成本需提前压测；VLA路线的示教数据采集人力成本也常被低估，两方面都要纳入整体拥有成本核算。

九、总结

两条路线的本质差异在于“能力从哪来”：VLA的能力来自示教数据的覆盖度，因此强在记住的任务、弱在没见过的世界；通用VLM的能力来自大规模预训练，因此强在理解与判断、弱在凭空生成精确动作。240题诊断测试给出的核心启示是：不必强求通用模型包打天下，也不必让专用模型硬扛开放性。更稳妥的工程决策是按能力分工——让通用模型承担它擅长的“看懂与判断”，让专门模型承担它擅长的“精确执行”，并在选型前用诊断性评估摸清自家场景的能力分布。技术选型没有绝对答案，只有与任务特性、数据条件、团队能力相匹配的答案。