LIBERO-Mem

LIBERO-Mem是一个机器人学习数据集，包含RGB-D观察数据和以对象为中心的文本注释。数据以RLDS格式存储，其中每个帧中的对象被编码为紧凑的文本字符串，格式为<对象名称>:<分割ID>,<边界框坐标>,<交互计数>，多个对象用#分隔。该数据集提供了轻量级的对象中心文本表示，与RGB-D观察对齐，支持文本条件动作预测。

LIBERO-Mem is a robotic learning dataset that contains RGB-D observation data and object-centric text annotations. The data is stored in RLDS format, where objects in each frame are encoded into compact text strings following the format <object name>:<segmentation ID>,<bounding box coordinates>,<interaction count>, with multiple objects separated by #. This dataset provides lightweight object-centric text representations aligned with RGB-D observations, supporting text-conditioned action prediction.

原始信息汇总

LIBERO-Mem 数据集概述

数据集基本信息

• 数据集名称: LIBERO-Mem
• 托管平台: Hugging Face
• 主要数据地址: https://huggingface.co/datasets/libero-mem/LIBERO-Mem
• 原始数据地址: https://huggingface.co/datasets/libero-mem/LIBERO-Mem-Raw

数据格式与特征

• 主要格式: RLDS格式
• 对象中心元数据: 转换为紧凑文本字符串
• 编码格式: <object_name>:<seg_id>,<x,y,w,h>,<interaction_count>
• 对象分隔符: #
• 包含字段: 对象名称、分割ID、边界框、交互计数

数据集规模

• 任务数量: 10个
• 演示轨迹数量: 1200个
• 数据层级: 分层设计

标注类型

• 动作标注: 支持
• 子目标标注: 支持
• 对象掩码: 支持
• 边界框: 支持
• 深度信息: 支持

基准测试特性

• 时间范围: 短期到长期
• 非马尔可夫变体: OM、OS、OR、OO
• 评估指标: 成功率、行为指标、任务进度
• 目标结构: 组合逻辑（Sequence、Or、嵌套And）

数据生成流程

1. 初始状态生成
2. 演示轨迹收集
3. 对象中心标签精炼
4. 演示文件合并

引用信息

bibtex @article{chung2025liberomem, title={Rethinking Progression of Memory State in Robotic Manipulation: An Object-Centric Perspective}, author={Chung, Nhat and Hanyu, Taisei and Nguyen, Toan and Le, Huy and Bumgarner, Frederick and Minh Ho Nguyen, Duy and Vo, Khoa and Yamazaki, Kashu and Rainwater, Chase and Kieu, Tung and Nguyen, Anh and Le, Ngan}, journal={arXiv preprint arXiv:2511.11478}, year={2025} }

许可证信息

• 代码库: MIT License
• 数据集: Creative Commons Attribution 4.0 International (CC BY 4.0)

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据采集领域，LIBERO-Mem数据集通过精心设计的流程构建而成。该过程始于初始状态生成，利用预定义的BDDL任务文件创建多样化环境配置。随后通过脚本化演示采集系统记录专家操作轨迹，系统采用顺序子目标检测机制确保每个步骤的稳定性与逻辑连贯性。数据精炼阶段通过轨迹回放注入物体中心标注，包括分割掩码、边界框和交互计数等元数据，最终通过合并处理形成标准化的HDF5格式数据集。

使用方法

研究者可通过Hugging Face平台直接访问LIBERO-Mem的RLDS标准化版本，利用专用数据加载器快速集成至训练流程。数据集支持以帧为单位解析物体中心标注，每条记录包含视觉观测与对应的文本推理字符串。用户可按照三步解析法解构文本字段，获取物体名称、分割标识、归一化边界框及交互计数等结构化信息。这种设计便于开发文本条件行为克隆模型，同时为多模态表示学习提供统一接口。

背景与挑战

背景概述

LIBERO-Mem数据集由研究团队于2025年提出，作为机器人操作领域的重要资源，专注于解决长期记忆状态在复杂环境中的演进问题。该数据集基于LIBERO框架构建，旨在通过对象中心视角增强机器人对多步骤任务的理解与执行能力。其核心研究问题聚焦于组合逻辑目标的实现，例如序列化放置与空间关系推理，显著推动了终身学习与知识迁移在机器人领域的应用，为评估记忆增强型算法提供了标准化基准。

当前挑战

该数据集致力于应对机器人操作中非马尔可夫变体的挑战，包括对象运动、序列、关系及遮挡等复杂场景，要求模型具备稳定的时序推理与部分成功评估能力。在构建过程中，数据采集面临物理引擎的非确定性干扰，需通过重复模拟与精细化标注来确保轨迹一致性；同时，对象中心元数据转换为紧凑文本格式时，需平衡语义完整性与计算效率，以支持多模态学习框架的可靠集成。

常用场景

经典使用场景

在机器人操作研究领域，LIBERO-Mem数据集通过提供包含物体中心标注的序列化任务轨迹，为长时程操作任务中的记忆建模与状态跟踪提供了关键支持。其独特的多步骤子目标序列结构使得研究者能够系统分析机器人在复杂环境中的任务分解能力，尤其适用于需要持续监控物体位置关系变化的场景。该数据集通过精细的物体掩码、边界框及深度信息，为动作预测模型提供了丰富的时空上下文特征。

解决学术问题

该数据集有效解决了机器人操作研究中非马尔可夫决策过程的建模难题，特别是针对物体运动、序列关系、空间关联及遮挡状态等复杂情境。通过引入时序化的子目标验证机制，它克服了传统方法在长时程任务中难以保持状态一致性的缺陷。其物体中心的文本表征形式更突破了传统视觉-动作映射的局限性，为跨模态学习提供了新的范式，显著推动了具身智能在动态环境中的认知推理研究。

实际应用

在现实场景中，LIBERO-Mem支持开发具备长期任务执行能力的服务机器人系统，例如厨房环境中的餐具整理与食材处理等连续操作任务。其包含的物体交互计数与空间关系标注可直接应用于智能仓储系统的物品分拣流程优化。通过提供稳定的初始状态生成与轨迹回放机制，该数据集为工业自动化领域的任务规划算法验证提供了可靠基准，特别是在需要精确控制多物体协同操作的装配线上展现出重要价值。

数据集最近研究

最新研究方向

在具身智能领域，LIBERO-Mem数据集正推动机器人操作任务向结构化记忆建模方向演进。该数据集通过引入对象序列、运动模式、空间关系和遮挡状态等非马尔可夫变量，构建了多层级任务逻辑的评估体系。其创新性地将物体语义、边界框与交互计数编码为轻量级文本表征，为视觉语言动作模型提供了细粒度对齐信号。当前研究热点集中于利用此类对象中心化标注实现长时程任务的可解释推理，特别是在跨场景知识迁移与组合式目标分解方面展现出潜力，为终身学习范式下的机器人认知架构奠定了数据基础。