简介:通用大模型已能拆解任务、调用工具,但机器人的实时控制、动作输出、本体感知和闭环安全仍需要专用模型。本文说明两层分工的依据,介绍分层架构的落地方式,并给出可复用的 token 成本估算方法和选型清单,帮助团队判断哪一层交给通用模型,哪一层自研。
通用大模型的进步集中在语义理解、长程推理、代码生成和工具调用。这些能力对机器人很有用,它们主要回答”该做什么”。以”把桌上的水杯递给用户”为例,大模型可以理解意图,拆出”找到水杯、抓起、移动到用户面前、松开”等步骤,并在某一步失败时给出备选方案。
但”这一帧该怎么动”是另一个问题。完成这条指令,机器人至少要同时处理四件事:
大模型可以参与第一步和第四步,给出合理建议。第二步和第三步对时间极其敏感,尤其是第三步。请求经网络发到云端,往返延迟常见几十到几百毫秒。硬实时控制回路,例如关节伺服和力矩环,通常运行在 1 至 10 毫秒量级。云端调用赶不上这个节拍。
任务级闭环的容忍度稍宽,可以到几十毫秒。具体数值取决于本体结构和安全等级,应以团队自己的实测为准。
下表对比了两类模型的典型差异。
| 维度 | 通用大模型 | 具身专用模型(如视觉-语言-动作模型、控制策略网络) |
|---|---|---|
| 输出形态 | 文本、代码、结构化 JSON | 关节角、末端位姿、力矩、速度序列 |
| 推理频率 | 秒级到分钟级 | 视任务与硬件而定,通常在 10~100 Hz |
| 输入模态 | 以文本和图像为主 | 多路相机、深度、IMU、关节编码器、触觉 |
| 部署位置 | 以云端 API 为主 | 边缘设备或机载算力 |
| 失败代价 | 重新生成即可 | 硬件损坏,甚至伤及人员 |
| 优化目标 | 正确率、泛化性 | 成功率、动作平滑性、延迟上界 |
表中的差异说明,机器人仍需要自己的模型。文本 token 序列和连续动作序列在形式上完全不同。两者之间需要一层专门训练的对齐,而这层对齐依赖机器人本体的数据和训练流程,通用模型的文本能力无法直接替代。
从工程角度看,决策层和控制层的评价标准也不同。决策层关心任务能否拆解正确,控制层关心每一个动作在物理上是否稳定、安全、按时完成。两层应当分别评测,不能用同一套指标衡量。
目前较常见的做法是两层或三层。通用大模型负责任务规划与常识推理,相当于较慢的”思考”层。具身策略模型负责动作生成,相当于较快的”反应”层。两层之间通过一组受限的动作原语对接。大模型输出的是”调用 grasp(杯子)”这类高层指令,而不是关节角度。
下面是伪代码,只用来示意两层的调用关系,其中的依赖对象需要团队自行实现。
# 伪代码,仅示意两层的调用关系,依赖对象需自行实现# 高层规划:通用大模型,秒级调用,走云端 APIdef plan(task: str, scene: str) -> list[Action]:prompt = f"场景: {scene}\n任务: {task}\n可用动作原语: {PRIMITIVES}"resp = llm.chat(prompt, response_format="json")return [Action(**a) for a in resp.actions]# 低层执行:具身策略模型,本地推理,固定频率循环while not task_done:obs = sensors.read() # 相机、IMU、关节状态action = policy(obs) # 本地模型,不经过网络robot.step(action)
落地时有几点需要注意。第一,PRIMITIVES 应是白名单,大模型只能从中选择动作。第二,plan 的返回值必须经过校验,超出关节限位或工作空间的动作直接拒绝,不交给底层执行。第三,低层循环应使用固定周期的定时器调度,而不是尽快循环执行,否则控制频率会随负载波动。第四,云端规划失败时,机器人应有本地的安全停止或降级动作,不能停在半空中等待回复。
高层规划的 token 成本可以用下面的方法粗算。
调用次数 = 日活跃秒数 ÷ 规划间隔日输入 token = 调用次数 × 单次输入 token日输出 token = 调用次数 × 单次输出 token日成本 ≈ 日输入 token ÷ 1,000,000 × 输入单价+ 日输出 token ÷ 1,000,000 × 输出单价再乘以 (1 + 重试率)
下面用一组示例假设演示计算过程。假设机器人每天活跃 6 小时,即 21600 秒,每 5 秒规划一次,单次输入 4000 token,单次输出 300 token,重试率为 10%。
各模型的单价以平台公示为准,本文不给出具体数字。输入单价和输出单价通常不同,必须分别计算。如果系统提示词和动作原语说明可以复用缓存,缓存命中部分的计价也可能不同,需按平台的计费规则单独核算。
在这个调用量级上,单价差异会被直接放大到日成本。因此,选型阶段就应把价格纳入比较,而不是等上线后再优化。
影响成本的主要旋钮有三个。第一是规划频率,把间隔从 5 秒改为 10 秒,调用次数减半。第二是上下文长度,把单次输入从 4000 token 压缩到 2000 token,输入量也随之减半。第三是缓存命中率,固定的提示词部分越多,可复用的部分就越多。这三个参数应在设计阶段就纳入约束,而不是作为上线后的补救手段。
按层给出建议如下。
评测时,建议至少覆盖下面五项指标。
各项指标的阈值应由团队根据任务周期和安全要求确定。本文不给出通用数值,因为不同本体和场景的要求差异很大。
通用大模型提升了机器人的任务理解和规划能力,但它不会取代机器人自己的控制模型。更可能的形态是:通用大模型负责理解意图、编排流程,具身专用模型在毫秒级把意图转为动作。
选型时,先划清两层的边界,再分别比较各模型在这一层的能力和成本。与追逐单一榜单排名相比,这种做法更能直接支撑产品的交付。