cleaning

该数据集为HuggingFace LeRobot格式机器人数据集。This dataset is a robotics dataset in the HuggingFace LeRobot format.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1

数据集结构

• 数据文件格式: Parquet
• 总任务数: 1
• 总视频数: 480
• 总帧数: 77343
• 总片段数: 1
• 片段大小: 1000
• 帧率: 10 fps
• 训练集划分: 0:120

数据特征

• 奖励 (next.reward): 浮点型 (float32)
• 成功标志 (next.success): 布尔型 (bool)
• 种子 (seed): 整型 (int64)
• 时间戳 (timestamp): 浮点型 (float32)
• 手腕原始图像 (wrist_image_original): 视频格式 (480x848x3)
• 场景原始图像 (scene_image_original): 视频格式 (480x848x3)
• 手腕图像 (wrist_image): 视频格式 (224x224x3)
• 场景图像 (scene_image): 视频格式 (224x224x3)
• 状态 (state): 浮点型 (float32, 7维)
• 机器人位姿 (robot_pose): 浮点型 (float32, 6维)
• 夹爪状态 (gripper_state): 浮点型 (float32, 1维)
• 关节状态 (joints): 浮点型 (float32, 6维)
• 动作 (action): 浮点型 (float32, 7维)
• 帧索引 (frame_index): 整型 (int64)
• 片段索引 (episode_index): 整型 (int64)
• 索引 (index): 整型 (int64)
• 任务索引 (task_index): 整型 (int64)

引用信息

• BibTeX: [More Information Needed]
• 论文: [More Information Needed]
• 主页: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动智能体技能习得的关键。该数据集基于LeRobot框架构建，通过采集机器人执行单一任务时的多模态传感信息，系统性地记录了120个完整演示片段，总计包含77,343帧数据。数据以Parquet格式存储于分块目录中，每个片段对应一个唯一的episode_index，并辅以同步录制的视频文件。构建过程遵循v2.1版本规范，确保了数据结构的标准化与可复现性。

特点

该数据集的核心特色在于其丰富的多模态特征组合。它同时提供了原始与缩放后的腕部及场景图像（分辨率分别为848×480和224×224），以及机器人状态、位姿、关节角度和夹爪状态等低维传感数据，每个时间步均包含7维的动作指令。所有数据以10帧每秒的恒定速率采集，并附有奖励信号、成功标志及时间戳，为模仿学习与强化学习算法提供了完整的状态-动作对。

使用方法

使用者可通过HuggingFace Datasets库加载该数据集，指定config为'default'以访问Parquet文件。加载后，数据以episode为单位组织，每个episode包含连续的帧序列。建议利用LeRobot库提供的DataLoader进行批量化处理，将图像与状态序列对齐后输入策略网络。由于数据已预分为训练集（全部120个片段），开发者可直接用于行为克隆或离线强化学习的模型训练与评估。

背景与挑战

背景概述

在机器人学习领域，数据驱动的策略学习正逐渐成为实现复杂操作任务的核心范式。cleaning数据集由Hugging Face的LeRobot框架创建，旨在为机器人清洁任务提供标准化的训练与评估基准。该数据集收录了120个演示片段，总计超过77000帧，涵盖了从腕部与场景摄像头采集的原始及预处理图像、机器人姿态、关节角度、夹爪状态及动作序列等多模态信息。其发布填补了面向具体家务操作场景的高质量机器人数据空白，推动了模仿学习与强化学习在真实世界清洁任务中的应用研究。数据集采用Apache-2.0许可证开放，降低了研究门槛，促进了可复现的机器人学习实验。

当前挑战

cleaning数据集面临的核心挑战在于领域泛化与数据效率。首先，清洁任务涉及多样的物体表面、污渍类型及环境光照条件，单一数据集难以覆盖所有变化，导致模型在未见场景中的表现显著下降。其次，数据采集过程依赖人工遥操作演示，120个片段的规模对于学习鲁棒策略仍显不足，且演示质量参差不齐，可能引入次优行为偏差。此外，高维视觉输入与连续动作空间的耦合使得策略学习易陷入局部最优，而数据中缺乏对成功与失败案例的显式标注，进一步增加了奖励函数设计的难度。构建过程中，多摄像头同步、动作轨迹平滑性以及不同机器人硬件间的迁移兼容性也是亟需解决的技术瓶颈。

常用场景

经典使用场景

在机器人学习与具身智能的交叉领域中，cleaning数据集以其精细的结构化多模态数据，成为训练机器人执行清洁任务的核心基准。该数据集收录了120个完整操作片段，涵盖超过77000帧高保真视觉与运动学记录，通过腕部与场景双视角视频、关节角度、末端执行器位姿及奖励信号，为模仿学习与强化学习方法提供了理想的教学范例。研究者常利用其统一的动作空间与状态表征，训练策略网络从人类演示中习得泛化的清洁技能，例如桌面擦拭或物体归位，从而在仿真环境中验证算法的样本效率与鲁棒性。

实际应用

在工业与家庭服务机器人领域，该数据集直接赋能了自主清洁系统的开发。基于其多视角视觉与力觉信息，工程师可训练机器人适应不同材质表面与光照条件，实现从示教轨迹到自主执行的零样本迁移。例如，通过将数据集中的腕部图像与关节力矩关联，模型能够学习动态调整擦拭力度以避免损坏脆弱物品。当前，已有研究利用该数据构建的预训练策略，结合少量微调，即可让机械臂在杂乱桌面上完成饮料渍清理或餐具归整，显著缩短了部署周期，为下一代家政机器人提供了可规模化的学习框架。

衍生相关工作

cleaning数据集催生了多项标志性研究工作，尤其在行为克隆与离线强化学习交叉方向上。例如，LeRobot框架基于该数据推出了首个端到端清洁策略的基准模型，验证了扩散过程在生成平滑动作序列中的优越性。后续工作如“CleanDiffuser”进一步引入隐式奖励函数，从数据中自动提取任务优先级，缓解了演示质量不均导致的策略退化问题。此外，该数据集还被用于探索跨具身形态的迁移学习，研究者通过对齐不同机器人关节空间，成功将清洁技能从六轴机械臂迁移至四足机器人，开创了操作技能泛化的新范式。