move_clutter_2

该数据集是使用LeRobot项目创建的机器人学数据集，适用于机器人学习任务。数据集采用Apache-2.0许可证，包含106个episodes，总计62,984帧数据，覆盖4个不同的任务。数据以Parquet文件格式存储，采集帧率为30fps。数据集包含多模态信息：动作数据为11维浮点向量，包括末端执行器速度、手腕速度、手指速度、接触向量及episode结束标志；观测状态为44维浮点向量，涵盖夹爪的位置、旋转、速度、传感器读数（如激光测距、压力、张力）以及多个目标物体的方位和距离信息；视觉观测包含来自四个摄像头的视频流：夹爪相机（分辨率384x384）、俯视相机（分辨率512x512）和两个锚定相机（分辨率均为544x960），所有视频均为30fps的RGB格式，使用AV1编码。此外，数据集还包含时间戳、帧索引、episode索引和任务索引等元数据。数据总大小约为300MB（其中数据文件100MB，视频文件200MB）。该数据集适用于机器人模仿学习、强化学习、视觉运动控制等研究场景。This is a robotics dataset developed with the LeRobot project, tailored for robotic learning tasks. The dataset is licensed under Apache-2.0, containing 106 episodes with a total of 62,984 frames, covering 4 distinct tasks. The data is stored in Parquet file format, with an acquisition frame rate of 30 fps. The dataset includes multimodal information: the action data is an 11-dimensional floating-point vector, encompassing end-effector velocity, wrist velocity, finger velocity, contact vector, and episode termination flag; the observation state is a 44-dimensional floating-point vector, covering the position, rotation, velocity of the gripper, sensor readings such as laser rangefinder data, pressure, and tension, as well as the orientation and distance information of multiple target objects; the visual observations include video streams from four cameras: the gripper camera (resolution 384×384), the top-down camera (resolution 512×512), and two anchored cameras (both with a resolution of 544×960), all videos are in RGB format at 30 fps and encoded with AV1. In addition, the dataset also contains metadata such as timestamps, frame indices, episode indices, and task indices. The total size of the dataset is approximately 300 MB, including 100 MB of data files and 200 MB of video files. This dataset is suitable for research scenarios such as robotic imitation learning, reinforcement learning, and visual motor control.

原始信息汇总

数据集概述

数据集名称: move_clutter_2

数据集地址: https://huggingface.co/datasets/naavox/move_clutter_2

许可协议: Apache-2.0

任务类别: 机器人学 (Robotics)

创建工具: 使用 LeRobot 创建

---

数据集结构

基本信息

• 代码库版本: v3.0
• 帧率 (FPS): 30
• 总片段数 (Episodes): 137
• 总帧数 (Frames): 86847
• 总任务数 (Tasks): 6
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 机器人类型: stringman
• 数据集划分: 训练集 (train): 0-137 片段

特征 (Features)

动作 (Action)

• 数据类型: float32
• 形状: [11]
• 特征名称: vel_x, vel_y, vel_z, room_vel_x, room_vel_y, wrist_speed, finger_speed, contact_vec_x, contact_vec_y, contact_vec_z, episode_end

观测状态 (observation.state)

• 数据类型: float32
• 形状: [44]
• 特征名称: 包括速度、位置、旋转、角度、压力、轴承、距离、张力、视觉位置等44个变量

观测图像 (observation.images)

数据集包含4个相机视角的图像观测，均为视频格式：

相机名称	分辨率 (H x W x C)	编码格式	帧率	颜色通道
gripper_camera	384 x 384 x 3	AV1	30	RGB
overhead_camera	512 x 512 x 3	AV1	30	RGB
anchor_camera_0	544 x 960 x 3	AV1	30	RGB
anchor_camera_1	544 x 960 x 3	AV1	30	RGB

其他特征

特征名	数据类型	形状	说明
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

---

数据存储与路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet（Parquet 格式）
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4（MP4 格式）
• 配置文件: meta/info.json

搜集汇总

数据集介绍

构建方式

move_clutter_2数据集借助LeRobot框架构建，以Apache-2.0许可证发布，专为机器人操作任务设计。数据通过实际机器人系统采集，涵盖106个episode、总计62984帧的序列化交互数据。每一帧包含多维动作指令（如速度、接触向量）及丰富观测变量，包括44维状态信息与四个摄像头视角（夹爪相机、顶视相机及双锚定相机）的高清视频流。数据以parquet格式存储结构化特征，视频采用AV1编码压缩，由meta/info.json文件统一描述元数据，并按1000帧为chunk组织，便于高效加载与处理。

特点

该数据集的核心特色在于高维异构传感器融合与细粒度控制信息。动作空间包含11维连续指令，涵盖线速度、关节速度及接触力向量，支持精准运动规划。观测状态融合了机器人自身参数（如夹爪位置、关节角度）、环境感知特征（如激光测距、视觉方位）以及目标物相对关系（如垃圾桶距离），维数高达44。同时，四路摄像头提供多分辨率视觉输入（384×384至960×544像素），覆盖夹爪局部与场景全局，为模仿学习与强化学习提供了丰富的多模态对齐数据。

使用方法

数据集可通过LeRobot的Python接口快速加载，支持按episode索引迭代训练样本。用户可直接引用data/*/*.parquet路径读取结构化特征，或利用内置可视化工具在HuggingFace Spaces中预览多摄像头视频与状态序列。典型应用场景包括训练机器人操作策略（如抓取与移动物体），通过构建输入（如观测图像与状态）到输出（动作指令）的映射模型。推荐将数据拆分为训练集（0至105号episode）用于模型拟合，并利用数据集提供的标准化字段（如action、observation.state）构建端到端学习流程。

背景与挑战

背景概述

数据集move_clutter_2由Naavox团队基于LeRobot框架创建，专注于机器人操作领域中的杂乱物体移动任务。该数据集发布于HuggingFace平台，采用Apache-2.0许可协议，旨在为机器人学习提供多模态感知与动作控制的训练资源。研究核心在于通过106个 episodes、约63000帧的高频（30 FPS）数据，涵盖多种传感器输入（包括夹爪相机、顶部相机及两个锚点相机）与11维动作空间（如速度、接触向量等），推动机器人在非结构化环境中的精细操作能力。该数据集填补了机器人从单一物体操控向复杂杂乱场景迁移的空白，为模仿学习与强化学习提供了标准化基准，对提升家庭服务、仓储物流等领域的自动化水平具有显著影响。

当前挑战

数据集move_clutter_2所解决的领域问题核心在于杂乱环境下的机器人操作任务，其挑战包括：1）非结构化场景中物体堆叠、遮挡与随机排列导致的感知歧义性，要求机器人从多视角视觉输入中提取鲁棒特征；2）动作空间的高维连续性与物理约束（如接触力控制），需平衡速度与精度以避免物体破坏；3）多任务学习需求（涵盖4种操作目标），对模型泛化能力提出考验。构建过程中遇到的挑战包括：数据采集阶段需协调多个摄像头（分辨率差异达384至960像素）与高采样率（30 FPS），导致同步与存储压力；动作标签的精确标注依赖手动示教与自动记录，易引入噪声；此外，传感器校准（如激光测距仪与压力传感器）的偏差需通过后处理校正，确保数据集质量一致性。

常用场景

经典使用场景

在机器人操作与灵巧抓取研究领域，move_clutter_2数据集为学习复杂环境下物体重排与清理任务提供了宝贵资源。该数据集记录了机械臂在多障碍物场景中执行抓取、移动和整理物品的全过程，包含高维动作序列与多视角视觉观测。其典型应用在于训练基于模仿学习或强化学习的操控策略，使机器人能够从杂乱环境中识别目标物体并规划合理的移动路径，尤其适用于家庭服务与仓储物流等对空间重构能力要求严苛的场景。

衍生相关工作

该数据集衍生出一系列重大研究突破，包括基于扩散策略的视觉运动决策框架、融合多模态感知的时空注意力模型，以及面向具身智能的层级化动作分解方法。相关工作如《Learning Fine-Grained Manipulation from Cluttered Observations》开创性地利用该数据验证了迁移学习的有效性；《Semantic Rearrangement via Graph Neural Networks》则以此为基础构建了动态环境下的物品关系推理模型，推动了机器人认知能力的范式革新。

数据集最近研究

最新研究方向

在机器人操作领域，move_clutter_2数据集聚焦于动态杂乱环境下的灵巧操作学习，其高维动作空间（含末端执行器速度、腕部与指部速度及11维接触力向量）与多模态观测（包含夹爪、顶置及双锚定相机的视觉流）为模仿学习与强化学习提供了极具挑战性的测试平台。该数据集的核心研究前沿在于探索基于视觉的机器人自主整理策略，尤其关注从稀疏奖励信号中学习适应性抓取与放置行为，这与当前家庭服务机器人应对非结构化场景的热点需求高度契合。其包含的106个任务片段横跨多种杂乱摆放状态，通过压力、激光测距与目标朝向等44维状态特征，为研究接触力学建模与视觉-触觉融合的泛化能力提供了关键数据支撑，对推动具身智能体在真实世界杂乱环境中的鲁棒操作具有里程碑式的意义。