jio2/clean_desk_v5

该数据集与机器人技术相关，包含机器人动作、状态观察（包括来自不同摄像角度的图像）、时间戳和情景索引等特征。数据集结构详细描述了机器人的关节位置、夹爪状态以及多个摄像头的视频数据。技术元数据包括机器人类型、总情景数、总帧数、任务数等。数据集使用Apache 2.0许可证。

This dataset is related to robotics and includes features such as robot actions, state observations (including images from different camera angles), timestamps, and episode indices. The dataset structure details the robots joint positions, gripper states, and video data from multiple cameras. Technical metadata includes the robot type, total episodes, total frames, number of tasks, etc. The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

clean_desk_v5数据集基于LeRobot框架构建，专为机器人学习任务设计。该数据集通过双臂协作机器人平台（机器人类型为bi_so_follower）采集，包含101个示范轨迹，共计79679帧数据，帧率为25fps。数据以parquet格式存储，遵循分块结构（chunk_size为1000），同时包含压缩视频文件，确保高效存取。所有数据已被划分为单一的训练集，涵盖一个桌面清理任务，每个轨迹均记录了完整的动作序列与观测状态。

特点

该数据集的核心特点在于其多模态融合与任务专一性。它提供了12维连续动作信息（包括双臂关节位置与夹爪状态），以及对应的12维状态观测，形成完整的闭环控制数据。视觉观测方面，数据集集成了三个摄像头视角：左腕摄像头（480×640）、顶部摄像头（720×1280）与右腕摄像头（480×640），均以AV1编码的高清视频形式存储，支持深度信息标记。此外，数据包含时间戳、帧索引与任务索引等元数据，便于时序分析与任务划分。

使用方法

使用clean_desk_v5数据集时，推荐借助LeRobot库进行加载与预处理。用户可首先通过HuggingFace的datasets库读取parquet文件，结合视频路径映射实现多模态同步。数据集适用于模仿学习与行为克隆任务，训练时可将12维动作作为预测目标，以多视角图像与机器人状态作为输入。由于数据已按轨迹分割，研究者可直接利用train集进行模型训练与评估，并根据帧索引对齐图像与状态数据，复现双臂协作清理场景的决策过程。

背景与挑战

背景概述

clean_desk_v5 数据集源自 Hugging Face LeRobot 平台，于2024年前后由相关机器人研究社区构建，旨在为双臂协作机器人提供标准化的模仿学习训练数据。该数据集聚焦于桌面清理这一精细化操作任务，由名为 bi_so_follower 的双机械臂机器人采集完成，包含101个演示轨迹，共计近8万帧高保真视觉与关节状态信息。通过多视角摄像头（如左左腕、左上方、右右腕）的集成，数据集为机器人学习复杂空间动作与物体交互提供了丰富的映射基础。其公开性与Apache 2.0许可，推动了机器人领域从硬件实验向可复现数据驱动研究的转型，为行为克隆、策略泛化等算法的验证提供了关键基准。

当前挑战

该数据集所应对的核心领域挑战在于双机械臂在非结构化环境中执行协同操作的策略学习问题，即如何从有限演示中提炼鲁棒的控制策略，应对物体位置、姿态及光照条件的细微变化。在构建层面，挑战一方面体现为数据采集的复杂性——需同步协调双臂的12个自由度关节运动与多路高清视频流（帧率25 FPS），并保证时间戳精确对齐；另一方面，演示轨迹的规模（仅101条）对模仿学习的泛化能力构成严峻考验，易导致过拟合。此外，无标注的环境干扰物与仅有单一任务类型的设计，限制了模型对动态交互场景的适应力，亟需结合迁移学习或数据增强技术予以突破。

常用场景

经典使用场景

在机器人学习与操作领域，clean_desk_v5数据集被广泛用于模仿学习算法的训练与验证。该数据集记录了双臂机器人执行桌面清理任务的全过程，包含101个完整轨迹，涵盖左右双臂各6个关节的连续动作序列及多视角视觉观测（如左手腕、右手腕及顶部摄像头的高清视频流）。研究者常将其作为基准，评测模型在复杂物体操控中的行为克隆能力，或用于离线强化学习中策略学习的数据来源。

衍生相关工作

基于clean_desk_v5衍生的经典工作包括：利用扩散策略（Diffusion Policy）进行动作生成的研究、基于Transformer架构的多任务模仿学习模型（如ACT与MT-ACT），以及将视觉语言模型与机器人控制结合的方法。此外，该数据集还被用于跨场景泛化性测试，催生了数据增强与域随机化技术进步，并促进了可迁移机器人技能库的构建。

数据集最近研究

最新研究方向

clean_desk_v5数据集聚焦于双臂协作机器人执行桌面清理任务的模仿学习研究，其通过LeRobot框架采集的双机械臂（bi_so_follower）运动轨迹与多视角视觉观测（腕部及顶部摄像头），为机器人技能习得提供了高保真的示范数据。当前，该数据集的前沿研究方向主要围绕模仿学习中的策略泛化与细粒度操作展开，尤其是在非结构化桌面环境中，机器人如何通过视觉-运动联合表征实现物体分类、抓取与有序摆放。结合近期具身智能领域对零样本迁移的热潮，clean_desk_v5为验证模型在有限示范下自主推理任务目标的能力提供了关键基准，其影响在于推动机器人从固定程序控制向数据驱动的柔性决策演进，对服务型机器人家庭部署具有深远意义。