简介:本文比较两种让大模型参与机器人控制的方式:在动作段结束或报错时同步等待决策的阻塞式顾问调用,以及由路由层统一调度、推理与执行并行的异步分层协作。文章从架构、时延、触发机制、接入成本和运维风险等维度说明两者差异,并给出按任务时长、实时性要求和团队能力选择方案的判断依据。
大模型擅长理解自然语言指令和拆解任务步骤,视觉语言动作模型(VLA)与传统控制程序则擅长以较高频率输出连续动作。两类能力的工作节奏不同。一次高层推理可能耗时数百毫秒到数秒,而低层控制通常需要按更短周期持续输出。把两者组合进同一个机器人系统时,关键问题在于:大模型应在什么时候介入,介入结果又如何交给执行层。
工程上常见两种思路。第一种是阻塞式顾问调用:执行层完成一段策略后暂停动作,等待大模型给出下一步建议,再继续执行。第二种是异步分层协作:大模型在后台提前准备候选策略,调度层在策略边界决定是否切换,执行层保持运行。两者的差异集中在交接时机和等待方式上。
对象A:阻塞式顾问调用
执行层遇到需要判断的时刻,例如一段策略结束、程序报错或超时,就向大模型发起请求,并等待返回结果后再继续。这种结构简单,逻辑直观,调用点通常由开发者在业务代码中直接写定。
它的主要问题在于等待期间没有新动作输出。如果触发条件只覆盖报错,那么程序正常结束但任务实际未完成的情况就会被漏掉。
对象B:异步分层协作
系统分为三层。推理层由大模型担任,负责生成候选策略和在线分析观察。调度层即路由器,负责选择策略、判断切换与停止。执行层保留原有的执行方式,例如视觉语言动作模型、控制程序或全身控制器。三层在事先约定的策略边界上交接。路由器的选择依据可以是规则、历史记忆或学习得到的选择器。
阻塞式方案只有两层,执行层直接调用顾问,两者耦合较紧,调用点分散在业务代码中。异步分层方案有三层,调度层集中管理切换逻辑,推理与执行解耦,替换其中任一层时影响范围较小。
阻塞式方案每次调用都会造成执行停顿。原文报告,阻塞式顾问平均每个任务只调用1.7次,但机器人仍累计等待2.62秒,占控制时间约20%。这说明调用次数少并不等于等待少,单次等待时间同样关键。
异步分层方案让推理在后台并行运行,执行层不必等待。等待时间主要取决于推理能否在当前策略段结束前完成。若推理未能按时完成,系统仍需要回退到默认策略,因此这种方式需要配套的超时处理。
阻塞式方案常依赖异常或固定节点触发,容易漏掉”程序正常结束但任务未完成”的情况。异步分层方案在每个策略边界由调度层判断完成度,判断依据可以是观察变化、子目标状态或记录的任务进度。因此,它能覆盖正常结束却未达成目标的情形。
阻塞式方案的推理结果即时使用,上下文与当前状态一致,但推理质量会直接影响当前动作。异步分层方案可以提前生成多个候选策略,降低单次决策压力,不过候选策略可能在执行前已经过时,需要有效的失效判断和重新规划机制。
阻塞式方案接入快,适合在已有控制程序上增加一个决策点。异步分层方案需要定义策略边界、策略接口和路由规则,改造量明显更大。但当系统需要接入更多执行器时,分层结构带来的扩展成本更低。
阻塞式方案的日志链路较短,问题定位相对直接,但等待时间在系统层面难以隐藏。异步分层方案需要同时监控三层的运行状态、队列延迟和切换记录。并发带来的竞态问题也需要专门关注,例如旧策略在新观察结果出现后仍然继续执行。
无论采用哪种方式,停止指令和急停信号都应由执行层直接响应,而不能依赖推理层返回结果。这一原则适用于两种方案。在异步结构中,由于推理与执行并行,需要显式设计这条旁路,否则推理队列阻塞时安全指令可能被延迟。
| 维度 | 阻塞式顾问调用 | 异步分层协作 |
|---|---|---|
| 架构层次 | 两层,耦合较紧 | 三层,推理、调度、执行解耦 |
| 推理与执行关系 | 串行,执行时等待推理 | 并行,推理在后台进行 |
| 等待行为 | 每次调用产生明显停顿 | 等待取决于推理是否按时完成 |
| 触发方式 | 异常或固定节点 | 策略边界上的完成度判断 |
| 候选策略 | 通常不预先生成 | 可提前生成并缓存 |
| 接入成本 | 低,改动集中 | 较高,需定义边界与路由规则 |
| 运维复杂度 | 较低 | 较高,需监控队列与切换 |
| 主要风险 | 漏触发、等待累积 | 策略过时、竞态、队列延迟 |
| 原文披露数据 | 平均每任务调用1.7次,等待2.62秒,约占控制时间20% | 在3000次测试中成功率95.9%,相对最强单一方法,每次成功的控制步数约减少25%,控制时间约减少17% |
表中数据来自原文,取自特定基准和实验环境,不能直接外推到其他机器人平台或任务。
选型应基于本系统的实测数据,而不是直接套用某一组实验结果。可以参考以下条件判断:
下面是一段通用示意代码,用于说明两种交接方式的结构差异,并非可直接运行的实现:
# 示意:阻塞式顾问调用while not task_done():action_chunk = policy.run_segment()if error_occurred or segment_finished:advice = planner.ask(observation) # 同步等待推理结果policy.update(advice)# 示意:异步分层协作pending = planner.submit_async(observation) # 后台推理while not task_done():action_chunk = policy.run_segment()if router.at_boundary(action_chunk):candidate = pending.get_if_ready() # 仅取已完成的结果router.decide(candidate, observation)pending = planner.submit_async(latest_observation())