简介:真实环境与行为对齐的采集数据,和仿真合成数据并不互相替代。本文从架构、对齐精度、可复用性、成本与适用边界对比两类方案,帮助团队判断何时用真实金标准数据、何时用仿真扩规模,以及迁移时要核对哪些风险。
后通用大模型阶段,物理智能的瓶颈不再只是“模型能不能说话”,而是“模型能不能在真实空间里连续完成更长、更复杂的任务”。榜单分数只能说明策略在受控基准上的成功率,不能直接等于插拔、开门、长程找物这类真机任务的可用性。要扩展物理智能,必须同时扩展两类东西:可供学习的行为示范,以及能执行任务、积累反馈的环境。
本文对比的对象是两类具身数据生产与使用方式:
二者都服务于“让策略学会在空间中行动”,但数据来源、对齐方式和误差结构不同。选型错误会直接表现为:仿真里成功、真机上连续失败,或真实数据很贵却无法复用。
真实采集回答的是“这个行为发生在怎样的几何约束里”。以把杯子放进橱柜为例,录像能提供取杯、开门、放入、关门的顺序;扫描能提供柜门开合范围、桌面高度、通道宽度。相机轨迹、手部和全身姿态与房间布局处于同一坐标系后,回放不再只是视频,而是可查询的三维过程:手在何时接近把手、身体如何避让、失败发生在碰撞还是抓取。
这类数据的价值在于参照系统一。后续可以把人的动作映射为机器人轨迹,把静态扫描变成带碰撞与可动部件的仿真环境,用同一批记录既做模仿学习,也做仿真中的任务重置与评测。
仿真主导方案回答的是“如何低成本产生大量状态与动作组合”。程序化场景、域随机化和并行回放,能在短时间内覆盖大量物体位姿与干扰。环境与行为分离的数据集则分别优化:网格负责看起来像房间,动作库负责看起来像操作。它们适合预训练、课程学习和压力测试,但不自动保证“这段动作真的能在这个房间里完成”。
两类方案在目标上一致,都试图为策略提供状态、动作与任务结果,而不是只提供自然语言描述。
方案A的流水线更长:采集设备标定、场景重建、视频与轨迹同步、人体姿态估计、坐标系统一、动作重定向、可交互场景生成、质量抽检。系统边界在“物理世界一次真实发生”,后处理不能发明当时不存在的接触。
方案B的边界在仿真器或独立资产库。场景、控制器、传感器噪声都可以参数化。优点是可重复、可并行;代价是接触、摩擦、柔性物体和传感器延迟往往被简化。分离式数据还多一道后期配准,配准误差会变成策略学到的“幽灵碰撞”或“够不到的抓取”。
方案A适合学习顺序、避障、长程导航和与真实布局强相关的操作。它不自动覆盖所有机器人构型:人的手不等于夹爪,重定向必须显式建模可达工作空间。遮挡、反光、动态行人也会使重建和姿态失败,失败样本应保留为负例,而不是静默丢弃后假装分布完整。
方案B适合大规模状态覆盖、课程难度调节和安全地试错。它不适合单独证明“真机可部署”。若仿真缺少可动柜门、线缆或透明物体,策略会在这些类别上系统性偏乐观。
方案A接入成本主要在标定协议、时间同步和坐标系约定。下游若只消费视频,会浪费对齐信息;若直接消费轨迹,必须约定关节顺序、单位(米/弧度)和坐标系手性。建议用统一的样本描述,而不是把路径和私有脚本绑死。
示意性的样本结构(通用字段,不是某一平台接口):
sample:scene_id: stringframe: metric_right_handedtimeline_hz: numbercamera_pose: [t, x, y, z, qx, qy, qz, qw]body_joints: [name, x, y, z]eef_pose: [t, x, y, z, qx, qy, qz, qw]objects:- id, movable, pose, statetask:name, success, failure_reason
方案B接入更快:加载场景、设置随机种子、 rollout。改造量出现在“与真机观测对齐”时——相机内参、延迟、控制频率和动作空间必须单独校准,否则混合训练会让网络拟合仿真伪影。
这里的“性能”指数据管线与策略迭代效率,不指某一模型的榜单分数。方案A的吞吐受采集人力、场地和质检限制,单场景信息密度高,横向扩展慢。方案B吞吐高,但有效信息密度取决于随机化是否打到真实失败模式。稳定性上,方案A的主要波动来自标定漂移和估计器版本;方案B的主要波动来自仿真器版本和物理参数。两边都不适合用未记录的默认参数做对比实验。
真实第一视角往往包含人脸、住址布局、屏幕内容和可识别物品。需要采集授权、最小化留存、访问控制和审计。轨迹与场景可以脱敏,但房间结构本身仍可能识别地点,不能只打码人脸就视为可公开。仿真数据的合规压力较小,若资产来自未授权扫描或含真实户型,仍要按敏感空间数据处理。身份认证、分权限下载和操作日志是两类数据上线前都应具备的通用控制,与是否上云无关。
方案A的成本在采集、标注抽检、存储体量(网格、视频、姿态)和重跑后处理。人力成本通常高于算力。方案B的成本在仿真并行、资产制作和“为了缩小仿真差距而反复调参”的工程时间。迁移成本容易被低估:从分离数据切到一体化数据,不只是换文件,还要改坐标系、时间戳和成功判定。
不得假设某一档位“更便宜”。房间数量少、任务长、失败代价高时,真实对齐数据的单条成本高,但能减少无效真机试错;任务短、可随机化、安全约束松时,仿真扩规模更划算。
| 维度 | 方案A 真实环境—行为一体 | 方案B 仿真主导或分离数据 |
|---|---|---|
| 参照系 | 场景、视频、轨迹、姿态同一度量坐标 | 仿真世界坐标,或事后配准 |
| 行为真实性 | 来自真实操作顺序与身体约束 | 取决于控制器与资产,易偏离接触真实 |
| 环境可交互性 | 由扫描转换,需补可动部件与碰撞 | 原生可交互,但物理常被简化 |
| 规模扩展 | 受场地与质检限制,扩展慢 | 并行 rollout,扩展快 |
| 长程任务 | 天然带上下文与失败过程 | 需专门编排课程,否则片段化 |
| 真机差距 | 较小,仍有形态与传感器差 | 通常更大,需系统辨识 |
| 复用方式 | 可回放、可重定向、可生成评测环境 | 可大量重置,难证明真实可达 |
| 隐私 | 高,需授权与隔离 | 相对低,注意资产来源 |
| 主要风险 | 标定漂移、遮挡、重定向失真 | 乐观偏差、配准误差、伪接触 |
| 更合适的阶段 | 金标准、评测、关键技能 | 预训练、压力测试、课程学习 |
评测与回归。要用方案A或由方案A转化的环境做固定任务集。仿真随机场景适合开发期冒烟,不适合作为唯一发布门禁。对比不同策略时,场景版本、成功判定和初始状态分布必须锁定。
短程抓取与大量扰动。方案B更合适做第一阶段覆盖。上真机前,用少量真实对齐片段检查抓取距离、桌面高度和遮挡是否被随机化覆盖到。
长程家务式任务(找物、开门、放置、再导航)。方案A更合适。分离的“导航轨迹包”和“操作片段包”如果时钟与房间不对齐,模型学到的是拼接,不是连续决策。
新机器人构型。不要直接把人的关节角当作机器人关节角。用方案A的末端与接触意图,加上该构型的运动学约束做重定向;用方案B验证重定向后的自碰撞。人能完成不等于该臂能完成。
数据飞轮。先用方案A建立小而干净的金标准:坐标系、任务定义、失败 taxonomy。再用方案B在金标准约束下扩规模。只扩仿真、不回写真实失败,飞轮会在仿真内自洽、在真机上空转。
团队能力有限时。若没有标定与质检人力,不要一开始承诺“全真实金标准”。可先缩小任务集,把同步和坐标系做对,再增加场景数。托管存储、对象存储、权限与日志可以降低保管成本,但不能代替采集质量。
从分离数据或纯仿真迁到一体化真实数据时,建议按下面顺序,避免把旧误差带进新训练集。
# 伪代码:混合批次时保留来源,避免静默混合for batch in loader:loss_real = loss(batch.where(source == "aligned_real"))loss_sim = loss(batch.where(source == "sim"))total = w_real * loss_real + w_sim * loss_sim# w_* 随课程变化,并写入实验配置
物理智能要规模化,扩展的不是任意视频,而是可度量对齐的环境和可执行、可判定的行为。方案A提供真实参照和可复用的环境—行为一体记录,适合作为评测金标准与关键技能来源,但扩展慢、隐私与标定要求高。方案B提供规模与可重复试错,适合预训练和压力测试,但容易产生乐观偏差,且分离资产若不对齐就会教错约束。
决策顺序可以固定为:先统一坐标系、时间和成功定义;再用少量真实一体数据锁定失败模式;最后用仿真在这些约束内扩规模,并持续用真机或真实回放抽检。这样比较的是数据是否支撑连续任务,而不是比较谁的演示更完整。