jio2/clean_desk_v15

该数据集是使用LeRobot创建的机器人数据集，包含动作、观察状态和来自不同摄像头视角（left_left_wrist、left_top、right_right_wrist）的图像。数据集结构在meta/info.json文件中详细描述，包括特征的数据类型、形状和名称，以及总集数、帧数和任务数。数据集采用apache-2.0许可证，适用于机器人相关任务。

This dataset was created using LeRobot and includes various features such as actions, observation states, and images from different camera perspectives (left_left_wrist, left_top, right_right_wrist). The dataset structure is detailed in the meta/info.json file, which includes information about the data types, shapes, and names of the features, as well as the total number of episodes, frames, and tasks. The dataset is licensed under apache-2.0 and is intended for robotics-related tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是训练具身智能体的基石。clean_desk_v15 数据集基于 LeRobot 框架构建，专注于桌面清理这一典型机器人操作任务。该数据集包含 302 个完整演示片段，共计 234,963 帧观察数据，所有数据均以 25 FPS 的固定帧率采集，确保了时间维度上的连贯性与一致性。数据格式采用 Parquet 与 MP4 视频文件混合存储，其中关节状态与动作指令等结构化信息以 Parquet 格式保存，而视觉观测数据则以高效压缩的视频编码形式存在，兼顾了存储效率与数据完整性。

特点

该数据集最显著的特点在于其多模态感知与双机械臂协同操作的精细设计。在状态空间中，不仅记录了两侧机械臂各关节的位置信息与夹爪开合度构成的 12 维动作向量，还同步采集了来自左腕、右腕及顶部三个视角的高清视觉图像，分辨率分别为 480×640 与 720×1280，为模仿学习提供了丰富的环境上下文。令人瞩目的是，整个数据集聚焦于单一任务类型，但通过 302 次独立演示覆盖了桌面清理过程中多样化的物体摆放与操作策略，这种在固定任务下积累的变异性，对于训练具备泛化能力的策略网络极具价值。

使用方法

借助 LeRobot 框架的标准化接口，研究者可直接通过 Hugging Face 的 datasets 库加载该数据集。使用时，首先需确保环境中已安装 lerobot 及相关依赖库。通过指定数据集名称 'jio2/clean_desk_v15' 与配置名称 'default'，即可便捷地获取训练与验证所需的轨迹序列。数据加载后，系统会按 episode 组织成迭代器，每一帧中包含完整的观测状态、动作指令及时间戳信息。开发者可利用其内置的 visualize_dataset 空间进行可视化预览，或直接将其输入至行为克隆、扩散策略等模仿学习算法中进行模型训练。

背景与挑战

背景概述

清洁桌面任务作为机器人操作领域的一项基础性研究课题，长期受到学术界的广泛关注。clean_desk_v15数据集由研究团队基于LeRobot框架构建，旨在为双臂协作机器人提供标准化的桌面清理训练数据。该数据集包含302个演示片段，总计逾23万帧时序数据，记录了双机械臂协同完成桌面清洁的完整操作过程。数据集涵盖了左右各六个自由度的关节位置信息，以及多视角视觉观测数据，为模仿学习和行为克隆等研究方向提供了高质量的基准资源。其Apache-2.0开源许可协议进一步降低了科研门槛，促进了机器人学习领域的可复现性研究。

当前挑战

该数据集所解决的领域核心挑战在于双臂协作机器人执行精细操作任务时的感知与规划难题。具体而言，桌面清理需要机器人准确识别散落物体的位置与形态，并协调双机械臂完成抓取、搬运与收纳等连续动作序列。在数据集构建过程中，研究团队面临多重技术挑战：首先，需要解决多传感器时空对齐问题，将多个摄像头采集的高频视觉流与机器人关节状态数据精确同步；其次，演示数据的质量一致性控制极具挑战，不同操作员的演示风格差异会引入运动噪声；此外，双臂动作空间的维度灾难导致数据稀疏性，302个演示片段在高维连续动作空间中可能不足以覆盖所有操作场景，对算法泛化能力构成严峻考验。

常用场景

经典使用场景

在机器人学习领域，clean_desk_v15数据集主要用于模仿学习与行为克隆的研究，尤其是在双臂协作任务中。该数据集记录了302个完整的桌面清理演示，每个演示包含了12维的关节动作序列、双腕及顶部视角的视觉观测，共计约23.5万帧。研究者可以借此训练机器人策略模型，使其学会在不同初始和目标配置下，自主执行将桌面杂物按特定规则归位或清理的操作。这一场景是机器人技能学习中的经典范例，因其任务结构清晰、状态与动作空间明确，适合验证各类基于视觉的运动规划与控制算法。

解决学术问题

该数据集的核心价值在于攻克具身智能中“多视角感知与精细操作耦合”的学术难题。传统单臂研究往往忽略双臂协调与视觉反馈的真实需求，而clean_desk_v15通过同步多摄像机（腕部与顶部）监控，为从高维图像直接映射到低维关节指令的端到端学习提供了基础。它有效缓解了样本效率低下和策略泛化能力弱的问题，推动学术界在无模型强化学习、逆动力学建模及人机协作理论等领域取得突破。其影响在于将机器人学习从实验室简化任务推向半结构化家居环境的模拟，为通用操作智能的探索铺平道路。

衍生相关工作

基于clean_desk_v15的公开结构，社区衍生出多项经典工作，如关于多任务视觉-运动Transformer的迁移学习研究、基于扩散策略的双手协调动作生成，以及针对数据增强的相机视角泛化方法。此外，该数据集常被作为基准来对比不同模仿学习范式（如DAGGER与行为克隆）在真实机器人上的表现。一些工作还利用其包含的时序索引和任务标签，探索了元学习与少量样本快速适配算法。这些研究成果进一步验证了该数据集在推动跨机器人平台、跨任务场景的知识迁移方面的关键作用，成为双臂操作领域标准化的测试平台之一。