一、对比背景:为什么记忆评测在具身智能下半场变得重要
具身智能的竞争重心,正在从”单点感知与单次决策”转向”长程任务下的稳定性”。而在长程任务里,失败最常见的根因并不是感知不准或规划不出,而是记忆出了问题。
以某通用具身评测基准上的一批失败轨迹为样本做归因分析,可以看到一个很清晰的结论:超过九成的失败与记忆相关。把这些失败拆开看,大致落在四类:
- 没记住看过的细节(被动观察记忆缺失,约 35%);
- 没跟上环境变化(动态跟踪失效,约 18%);
- 没记住交互反馈(交互结果记忆缺失,约 31%);
- 没用上过去的经验(经验泛化不足,约 7%)。
问题在于,如果把评测只做成一个笼统的”任务成功率”总数,这四种能力缺陷会被完全淹没在平均值里。一个智能体可能在被动观察上很强,却在动态跟踪上很弱,但总分看不出来。因此,把记忆当作一项独立能力来拆解、来测,是让记忆进步”被看见、被优化”的前提。
另一个反直觉的现象是:通用能力强,并不等于记性好。在一批主流多模态大模型的横向评测里,能力最强的模型平均成功率也只有六成出头,而且能力分布很不均衡——同一批模型中,某个模型在经验泛化维度上有六成以上,动态跟踪维度却只有两成左右。专门面向空间感知与机器人规划训练的具身模型,也未必能稳定超过通用模型。这说明记忆需要被单独训练,也需要被单独评估。
二、对比对象定义:两类记忆评测分别解决什么问题
围绕”记忆要落在行动上”这一共识,业界逐渐分化出两种互补的评测思路,可以抽象为下面两个方案:
- 方案A:操作层记忆评测。聚焦物体转移、遮挡、计数、顺序执行等真实操作中产生的记忆,通常配套真机评测与公开排行榜,强调”手上的记忆”,离物理部署很近。
- 方案B:决策层记忆评测。聚焦多房间家庭环境中,多模态智能体”决策层”的记忆。典型做法是提供约两千多个可执行任务,先给一段交互历史(智能体在观看时并不知道后续要做什么),再让它在仿真环境里仅凭记忆完成后续任务,从被动观察、动态跟踪、交互失败、经验泛化四类来考察,强调”脑子里的记忆”。
一句话概括两者关系:方案A更偏”手上的记忆”,方案B更偏”脑子里的记忆”。
三、相同点分析
尽管侧重不同,两类方案在底层逻辑上高度一致:
- 目标一致:都试图把”记忆”从成功率总数中拆出来,作为可量化、可追踪的独立能力维度。
- 落地方式一致:都坚持”记忆评测要落在行动上”,最终都要让智能体在环境中真正执行,用任务是否完成来打分,而不是停留在问答式复述。
- 考察维度互补且重叠:都关注被动观察与动态跟踪这类基础记忆能力,只是各自的强项场景不同。
四、核心差异分析
两类方案的关键差异,主要体现在评测对象、环境形态、考察重点与验证手段上。
- 评测对象:方案A测的是操作过程中即时的、与动作强绑定的记忆;方案B测的是决策前对历史信息(含交互反馈)的综合调用能力。
- 环境形态:方案A更依赖真机或高保真物理仿真,考验真实执行的一致性;方案B多在多房间仿真的家庭场景中进行,考验长程、跨房间的信息保持。
- 考察重点:方案A更关注物体状态、遮挡关系、计数与顺序执行等空间-操作记忆;方案B更关注交互失败后的纠错、以及把过往经验迁移到新任务上的经验泛化能力。
- 验证手段:方案A倾向真机评测+排行榜,贴近部署;方案B倾向大规模可执行任务+分类打分,便于系统性诊断决策层的薄弱项。
五、对比表格
| 维度 |
方案A:操作层记忆评测 |
方案B:决策层记忆评测 |
| 记忆定位 |
手上的记忆 |
脑子里的记忆 |
| 典型任务 |
物体转移、遮挡、计数、顺序执行 |
多房间决策、交互纠错、经验迁移 |
| 环境 |
真机 / 高保真物理仿真为主 |
多房间家庭仿真为主 |
| 考察维度 |
操作即时的状态与顺序记忆 |
被动观察、动态跟踪、交互失败、经验泛化 |
| 验证方式 |
真机评测 + 公开排行榜 |
大规模可执行任务 + 分类打分 |
| 强项场景 |
贴近真实物理部署 |
系统性诊断决策层短板 |
| 与部署距离 |
更近 |
相对更远但更全面 |
六、典型场景选择
- 如果你关心的是机器人在真实物理环境中执行操作时的稳定性(比如抓取、转移、按序操作),且团队具备真机与物理仿真能力,方案A更贴近你的验证目标。
- 如果你要系统性诊断一个多模态智能体的决策层记忆短板,定位它在被动观察、动态跟踪、交互纠错、经验泛化上到底哪一类弱,方案B提供了更细粒度的分类信号。
- 对多数生产级具身系统而言,两者并非二选一,而是”先诊断、再验证”的组合:用方案B找薄弱维度,用方案A在真机上确认可部署性。
七、选型建议
选型应基于条件而非绝对优劣:
- 在接近真实部署的验证阶段,若团队具备真机与物理仿真条件,优先考虑方案A这类操作层评测,能更早暴露”最后一公里”的问题。
- 在模型迭代与能力诊断阶段,若更关注决策层记忆的系统性短板,方案B这类大规模分类评测更适合,便于把失败原因归因到具体维度。
- 在资源有限、缺乏真机环境时,可先以仿真为主、以可执行任务驱动的评测切入,再逐步引入真机验证。
八、迁移与使用注意事项
- 评测集与任务分布要对齐:两类方案的考察维度不同,直接套用其分数会失真,跨方案比较前需明确任务分布差异。
- 历史信息与”未来任务”的可见性设计:决策层评测常在观看历史时隐藏后续任务,迁移时要确保这一设定不被破坏,否则会高估记忆能力。
- 真机一致性风险:操作层评测在真机与仿真间可能存在落差,迁移时需评估仿真到真机的域差。
- 归因口径统一:失败分类(被动观察、动态跟踪、交互反馈、经验泛化)的判定标准要统一,否则跨模型对比不可比。
- 可观测性配套:无论选择哪类方案,都应配套监控、日志与失败轨迹回放,避免记忆缺陷重新淹没在成功率总数里。
九、总结
回到最初的问题——评测机器人记忆系统对 AI 发展意味着什么?答案是:没有专门的记忆评测,记忆能力的进步就很难被看见,更难被优化。而方案A与方案B恰好从”手上”与”脑子”两端,构成互补的两把尺子。选型的关键不在于谁更强,而在于你此刻要验证的是可部署性还是决策层短板;条件成熟时,两者组合使用,才是把记忆评测做扎实的稳妥路径。