clear_table_clutter

这是一个关于机器人技术的数据集，包含105个剧集，共计169650帧，分为6个任务。数据集使用LeRobot创建，并以Apache-2.0许可证发布。数据集包含动作、观察状态、顶部图像、左夹爪图像、右夹爪图像等多种特征，每个剧集都被划分为训练集。数据文件为.parquet格式，视频文件为.mp4格式，帧率为30fps。

This is a robotics dataset containing 105 episodes with a total of 169,650 frames, categorized into 6 tasks. The dataset was created using LeRobot and released under the Apache-2.0 license. It includes multiple features such as actions, observation states, top images, left gripper images, and right gripper images. Each episode is assigned to the training set. The data files are stored in .parquet format, while the video files are in .mp4 format with a frame rate of 30 fps.

原始信息汇总

数据集概述

基本信息

• 名称: clear_table_clutter
• 任务类别: 机器人学
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总任务数: 6
• 总回合数: 105
• 总帧数: 169650
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

• 数据格式: Parquet文件
• 分块大小: 1000
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 代码库版本: v3.0
• 机器人类型: bi_so101_follower

数据特征

动作特征

• 数据类型: float32
• 维度: 12
• 关节位置:
  • 左肩平移
  • 左肩抬升
  • 左肘弯曲
  • 左手腕弯曲
  • 左手腕旋转
  • 左夹爪
  • 右肩平移
  • 右肩抬升
  • 右肘弯曲
  • 右手腕弯曲
  • 右手腕旋转
  • 右夹爪

观测特征

状态观测

• 数据类型: float32
• 维度: 12
• 关节位置: 与动作特征相同

图像观测

顶部摄像头:

• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

左夹爪摄像头:

• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

右夹爪摄像头:

• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

元数据特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

数据划分

• 训练集: 全部105个回合

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，clear_table_clutter数据集通过LeRobot框架精心构建，采用双臂机器人bi_so101_follower执行六项桌面清理任务。数据采集过程涵盖105个完整情节，以每秒30帧的速率记录169,650帧动态信息，所有数据被分割为千帧块并存储于Parquet格式文件中，确保高效存取与处理。

特点

该数据集以多模态观测数据为显著特征，集成三路高清视频流（顶部视角与双机械臂夹爪视角），每路视频分辨率达640x480并采用AV1编码。动作空间完整记录12个关节位置参数，涵盖双臂各六个自由度的精确运动轨迹，时间戳与索引系统为时序分析提供结构化支撑。

使用方法

研究者可通过加载标准Parquet数据文件访问多维特征，利用帧索引与情节索引重构完整任务序列。视频数据与关节状态数据支持端到端模仿学习算法验证，其分块存储结构适配流式训练流程，为机器人感知控制联合建模提供标准化实验基准。

背景与挑战

背景概述

在机器人操作领域，桌面环境下的物体整理任务长期面临感知与执行协同的复杂性挑战。clear_table_clutter数据集由HuggingFace的LeRobot项目团队构建，采用双臂SO101型机器人平台，通过105个任务片段和近17万帧多模态数据，系统记录了机械臂关节状态与多视角视觉信息。该数据集致力于解决非结构化环境中物体抓取与摆放的序列决策问题，为模仿学习与强化学习算法提供了真实世界的交互轨迹基准。

当前挑战

该数据集针对桌面杂乱场景的物体操作任务，需克服复杂空间布局中抓取顺序规划与避障控制的难题。构建过程中面临多传感器时序对齐的技术挑战，包括三路视觉流与十二维关节动作数据的精确同步。数据采集时还需保持环境光照一致性与物体位置随机性，确保模型泛化能力。高分辨率视频流与机械臂控制指令的联合存储方案，亦对数据压缩与读取效率提出严格要求。

常用场景

经典使用场景

在机器人操作领域，clear_table_clutter数据集为双臂机器人桌面物体整理任务提供了标准化实验平台。该数据集通过记录双手机械臂执行六类日常整理任务时的多视角视觉观测与关节运动轨迹，成为模仿学习算法的典型训练素材。研究者可利用其包含的169,650帧同步视频与动作数据，构建从视觉感知到运动控制的端到端策略模型。

解决学术问题

该数据集有效解决了机器人操作中视觉-动作映射的泛化性难题。通过提供结构化任务场景下的真实交互数据，它助力研究者突破仿真到实物的迁移瓶颈，推动基于视觉的机器人操作策略研究。其丰富的多模态记录为理解复杂操作任务的时序特性提供了数据基础，显著提升了动作预测模型的精确度与鲁棒性。

衍生相关工作

该数据集已催生多项基于深度模仿学习的机器人控制研究。部分工作聚焦于从多视角视频流中提取任务不变特征，实现跨场景的动作泛化。另有研究利用其密集标注的关节轨迹数据，开发出融合注意力机制的动作序列预测模型，为后续的元学习与多任务策略网络构建提供了重要基准。