MEMOBench

MEMOBench 是一个面向机器人操作的过程级记忆基准数据集。该数据集包含 30 个历史依赖任务，共标注了 4,200 个可执行检查点，每个检查点标记了三种记忆操作：存储（Storage）、更新（Update）和压缩（Compression）。数据集以 MEMOBench.zip 文件形式提供，内部包含 30 个 HDF5 格式的演示数据集，这些数据集被组织为四类：对象类（5 个）、程序类（5 个）、空间类（10 个）和时间类（10 个）。每个演示数据集包含机器人操作的轨迹和检查点的记忆操作标注。该数据集旨在评估视觉-语言-动作（VLA）策略在记忆层面的能力。根据初步评估，现有领先的 VLA 策略在存储信息方面表现尚可，但在更新和压缩记忆方面存在显著不足，平均成功率仅为 31.9%。该数据集适用于机器人操作中的记忆相关研究，特别是多步骤历史依赖的任务评估。数据集采用 CC BY-NC 4.0 许可证，仅限非商业学术用途。

搜集汇总

数据集介绍

构建方式

在机器人操作领域，记忆能力对于执行历史依赖任务至关重要。MEMOBench 基于此需求，构建了一个过程级记忆基准。其构建以 30 个历史依赖任务为核心，这些任务涵盖物体、程序、空间和时间四类，分别包含 5、5、10 和 10 个任务。每个任务均提供演示数据集，并标注了 4,200 个可执行检查点，这些检查点明确对应存储、更新和压缩三种记忆操作。所有数据均以 HDF5 格式组织，并配套基于 LIBERO 的仿真器所需资产，确保评估环境的一致性与可复现性。

特点

MEMOBench 的显著特点在于其过程级记忆标注粒度。不同于仅关注最终任务成功率的传统基准，该数据集通过 4,200 个检查点将记忆操作分解为存储、更新和压缩三个维度，从而能够精细诊断视觉-语言-动作（VLA）策略在记忆处理各环节的表现。实验表明，当前领先的 VLA 策略在存储信息方面表现良好，但在更新和压缩记忆上存在明显不足，平均成功率仅为 31.9%。这一发现揭示了现有模型在动态记忆管理上的瓶颈，为后续研究提供了明确的改进方向。

使用方法

使用 MEMOBench 时，用户可通过 Hugging Face 命令行工具下载数据集和额外资产。具体而言，执行 `hf download SunSeaLucky/MEMOBench MEMOBench.zip --repo-type dataset` 获取基准数据，以及 `hf download SunSeaLucky/MEMOBench assets.zip --repo-type dataset` 获取仿真器所需的对象和场景资产。将 assets.zip 解压至 LIBERO 资产目录后，即可结合 GitHub 仓库中提供的评估代码、任务配置文件（.bddl）和详细说明进行实验。该数据集遵循 CC BY-NC 4.0 许可，仅限非商业科学研究使用，商业用途需另行授权。

背景与挑战

背景概述

在具身智能与机器人操作研究不断深化的进程中，视觉-语言-动作模型对长时序任务的掌控能力日益成为焦点。现有的操作基准多侧重静态场景下的即时决策，却鲜有对记忆机制进行过程级刻画。MEMOBench于2024年由研究团队构建，作为面向机器人操作的过程级记忆基准，其核心研究问题在于揭示策略模型如何存储、更新与压缩历史信息。该数据集包含30项历史依赖任务与4200个可执行检查点，覆盖物体、程序、空间与时间四类记忆情境，为评估VLA模型的记忆操作提供了细粒度诊断工具，对推动长程操作策略的鲁棒性研究具有显著影响力。

当前挑战

机器人操作领域长期面临历史依赖任务中状态跟踪与信息遗忘的难题，传统基准难以区分模型在存储、更新与压缩等记忆操作上的具体缺陷。MEMOBench构建过程中，需在LIBERO仿真环境中设计可复现的历史依赖任务，并为每个检查点标注三种记忆操作，确保任务多样性与标注一致性。当前挑战在于，领先的VLA策略虽能有效存储信息，却在更新与压缩记忆方面表现薄弱，平均成功率仅为31.9%，这凸显了记忆动态管理机制在长时序操作中的关键瓶颈，也对未来模型架构提出了过程级记忆调控的新要求。

常用场景

经典使用场景

在具身智能与机器人操作研究领域，记忆机制是智能体完成长时序、多阶段任务的核心认知能力。MEMOBench 作为面向机器人操作的过程级记忆基准，将三十项依赖历史信息的操作任务划分为物体、程序、空间与时间四个维度，并为每一步标注了存储、更新与压缩三类记忆操作的可执行检查点，从而构成了评估视觉-语言-动作策略记忆能力的基础测试平台。研究者通常将训练完毕的 VLA 模型置于该基准的仿真环境中，逐检查点考察其能否正确保留、修正与抽象历史信息，以此刻画策略在过程层面的记忆表现。

实际应用

在真实机器人应用场景中，诸如多步骤装配、物体整理与交互式服务等任务均要求智能体在长时间跨度内追踪环境状态并适时调整行为。MEMOBench 所提供的仿真评测流程与配套资产，使工程人员能够在部署前系统检验操作策略的记忆可靠性，识别其在动态环境中的失效模式。该基准还可用于指导模型迭代，通过针对更新与压缩能力的专项训练，提升机器人在家庭服务、仓储物流等场景下的长程任务执行稳定性，为记忆感知型机器人系统的落地提供量化的评估支持。

衍生相关工作

MEMOBench 的发布激发了围绕机器人记忆机制的一系列后续研究。部分工作以其检查点标注为基础，探索将外部记忆模块与 VLA 策略耦合的架构设计，以改善信息更新与压缩能力；另一些研究则借鉴其过程级评测思想，将记忆操作分析拓展至多智能体协作与跨模态任务规划领域。与此同时，基于 LIBERO 仿真环境的配套代码与任务配置被广泛复用，促进了记忆基准在具身智能社区中的标准化与可复现性，为后续记忆增强策略的比较与改进奠定了共同的实验基础。