LIBERO-3D

LIBERO-3D是一个专为3D感知机器人学习设计的数据集，基于原始LIBERO任务套件进行封装和重新组织。数据集将每个演示轨迹转换为以每集为单位的.npz文件，包含多模态数据，如RGB图像、深度图、相机参数（包括内参和外参）、分割图、机器人状态和控制动作。它包含四个任务套件：libero_goal（10个目标条件操作任务）、libero_object（10个以物体为中心的拾放任务）、libero_spatial（10个空间关系操作任务）以及libero_10（10个来自LIBERO-10套件的长时程任务），每个套件有10个任务，每个任务包含50个演示片段，总计40个任务和2000个片段。每个数据片段（data.npz）存储轨迹对齐的数组，具体包括：机器人状态（形状(T, 8)）、控制动作（形状(T, 7)）、静态相机RGB帧（形状(T, 256, 256, 3)）、静态相机深度帧（形状(T, 256, 256)）、腕部相机RGB帧（形状(T, 256, 256, 3)）、腕部相机深度帧（形状(T, 256, 256)）、腕部相机内参（形状(T, 3, 3)）、腕部相机外参（形状(T, 4, 4)）以及腕部分割图（形状(T, 256, 256, 2)）。此外，任务级别的metadata.json文件记录了套件名称、任务名称、原始演示路径、图像分辨率、状态语义、相机校准字段以及每集的步数和张量形状。该数据集源自LIBERO基准数据集，经过优化以适应下游3D学习流程，采用Apache-2.0许可证，主要用于文件托管和下载，数据以二进制.npz格式存储，不适用于浏览器内预览。

LIBERO-3D is a processed and packaged LIBERO demonstration dataset for 3D-aware robot learning. It retains the original LIBERO task suites while converting each trajectory into per-episode .npz files containing multimodal data such as RGB images, depth maps, camera parameters, segmentation maps, states, and actions. The dataset includes four task suites: libero_goal (10 goal-conditioned manipulation tasks), libero_object (10 object-centric pick-and-place tasks), libero_spatial (10 spatial relation manipulation tasks), and libero_10 (10 long-horizon tasks from the LIBERO-10 suite). Each suite contains 10 tasks, with 50 demonstration episodes per task, totaling 40 tasks and 2000 episodes. Each data episode (data.npz) stores trajectory-aligned arrays, specifically: robot state (shape (T, 8)), control actions (shape (T, 7)), static camera RGB frames (agentview_rgb, shape (T, 256, 256, 3)), static camera depth frames (agentview_depth, shape (T, 256, 256)), wrist camera RGB frames (wrist_rgb, shape (T, 256, 256, 3)), wrist camera depth frames (wrist_depth, shape (T, 256, 256)), wrist camera intrinsic parameters (wrist_intrinsic, shape (T, 3, 3)), wrist camera extrinsic parameters (wrist_extrinsic, shape (T, 4, 4)), and wrist segmentation maps (wrist_segmentation, shape (T, 256, 256, 2)). Task-level metadata.json files also record suite name, task name, original demonstration path, image resolution, state semantics, camera calibration fields, and per-episode step counts and tensor shapes. The dataset is derived from the LIBERO benchmark dataset and reorganized for downstream 3D learning workflows. It is licensed under Apache-2.0. Note that this repository is primarily for file hosting and dataset download, not for in-browser preview, and data is stored in binary .npz format rather than tabular data.

搜集汇总

数据集介绍

构建方式

LIBERO-3D数据集源于经典的LIBERO基准测试套件，通过对原始演示轨迹进行系统性后处理，生成了适用于三维感知机器人学习任务的标准化数据。整个数据集按任务套件组织，涵盖libero_goal、libero_object、libero_spatial与libero_10四大模块，共计40个任务、2000条轨迹。每个轨迹被独立压缩为二进制.npz格式文件，按“套件/任务名/episode_xxx/data.npz”的层级结构存放，同时每个任务目录下附有metadata.json，记录套件名称、任务标识、相机标定参数、状态语义及每段轨迹的步数与张量形状等元信息，确保数据可追溯、结构一致。

使用方法

该数据集以.npz文件形式分发，不提供传统的表格型数据预览，因此使用者需通过直接下载完整目录或利用huggingface_hub工具进行批量拉取。加载时，可依据metadata.json解析每个任务的结构及对应键名，随后利用NumPy读取各个.npz文件中的数组，提取状态、动作、多视角RGB与深度图像、分割图及相机参数。针对基于点云或空间特征的学习范式，可借助深度图与内外参反投影生成3D坐标。建议保持目录结构稳定以兼容下游代码中的固定引用路径，并避免上传macOS生成的隐含文件污染数据集。

背景与挑战

背景概述

LIBERO-3D诞生于机器人学习领域对三维感知能力日益增长的需求背景下，由致力于终身机器人学习研究的团队于近期推出。该数据集基于LIBERO基准套件进行深度加工，将原始的演示轨迹以每回合独立压缩包的形式重新组织，同步保留了RGB、深度图、相机参数、语义分割、机器人状态及动作序列等多模态信息。核心研究问题聚焦于如何使机器人从二维视觉观察中高效迁移至三维空间理解，从而支撑具身智能体在复杂操作任务中的泛化与鲁棒适应。凭借其标准化的40任务、2000回合规模和精细的标定数据，LIBERO-3D迅速成为检验三维感知与模仿学习算法的重要基准，有效推动了计算机视觉与机器人操作交叉领域的实证研究。

当前挑战

领域层面，LIBERO-3D致力于解决机器人操作任务中从二维像素级监督到三维几何推理的跨越难题，传统方法常受限于单视角深度模糊性与场景歧义，而本数据集要求算法在仅依靠前视或腕部深度图的同时，结合精确的相机参数进行空间关系解耦，这对小样本泛化与跨任务迁移构成严峻考验。构建层面，团队面临多源传感器数据对齐、不同任务套件间标定参数一致性维护以及大规模二进制文件高效存储分发的挑战；尤其在设计兼容性接口时，需确保二维分割图与三维点云的无缝衔接，同时克服计算资源以将每回合数据序列化为一万个非线性时长片段，维持轨迹内在时序连贯性而不引入伪影，是一项精密而繁复的系统工程。

常用场景

经典使用场景

LIBERO-3D数据集在机器人学习领域展现出卓越的适用性，其经典使用场景聚焦于三维感知驱动的模仿学习与强化学习。该数据集将原始LIBERO基准中的演示轨迹重构为每回合独立的.npz文件，精巧地融合了RGB图像、深度图、相机参数、分割掩码、机器人状态及动作序列等多模态信息。研究者可借助这些高保真数据，训练机器人智能体在复杂任务中习得从视觉输入到运动输出的映射关系，尤其适用于需要精细空间理解的操控任务，如目标条件操作、物体抓取摆放以及空间关系推理等场景。

解决学术问题

该数据集有效攻克了机器人学习研究中长期存在的关键学术难题，即如何在缺乏真实深度与三维几何信息的环境下实现鲁棒的策略学习。通过提供对齐的深度图与相机内外参，LIBERO-3D使得研究者能够探索三维感知表示与策略学习的深度融合，解决了二维视觉信息在复杂空间推理任务中的表征局限性。其涵盖的四十项多样化任务，包括长时域操控与空间关系理解，为评估算法在长程规划、物体泛化与视角不变性等维度的能力提供了标准化基准，显著推动了具身智能领域从二维感知向三维理解的范式转变。

实际应用

在实际应用层面，LIBERO-3D数据集为工业自动化、服务机器人及家庭辅助机器人等领域的核心技术落地提供了数据基石。通过在该数据集上训练的模型，机器人能够在仓储环境中精准抓取不同姿态的目标物体，在厨房场景中完成倒水、切菜等复杂动作，或是在家庭中进行基于空间指令的物品整理。数据集中的手眼相机数据与分割掩码尤其适用于需要精细操作与安全避障的场景，使得机器人能够实时感知自身末端执行器与周围物体的三维相对位置，从而支撑起更具鲁棒性与适应性的自动化解决方案。

数据集最近研究

最新研究方向

LIBERO-3D数据集的发布为三维感知机器人学习领域提供了标准化的基准资源，其将原始演示数据转化为包含深度、点云、相机参数及分割掩码的多模态轨迹文件，直接服务于模仿学习与强化学习中的三维场景理解与策略泛化研究。当前前沿方向聚焦于利用该数据集中的几何与语义信息，探索机器人操作任务中的空间推理、长时序动作规划以及跨任务迁移学习能力，尤其结合视觉-语言模型与端到端三维表征，推动具身智能体在非结构化环境中的鲁棒泛化。该数据集对LIBERO基准的深度增强版本，有望促进三维感知与操控决策的紧密耦合研究，加速家庭服务与工业装配等现实场景的智能化落地。