jio2/clean_desk_cube_v2_pi

该数据集由LeRobot创建，是一个机器人学数据集，包含200个episodes，总帧数为169536，涉及两个任务。数据集记录了双机械臂（bi_so_follower类型）的动作和观察数据。动作数据包括左右机械臂各6个关节的位置控制（共12个浮点值）。观察数据包括机械臂的12个关节位置状态，以及来自三个摄像头视角（左左腕、左上、右右腕）的视频图像，图像分辨率为720x1280，帧率为30fps，格式为RGB。数据集以parquet文件存储结构化数据，视频文件以mp4格式存储，总数据大小约为300MB（结构化数据100MB，视频数据200MB）。数据集适用于机器人控制、模仿学习或计算机视觉任务。

This dataset was created using LeRobot and is a robotics dataset containing 200 episodes with a total of 169536 frames, involving two tasks. It records action and observation data for a dual-arm robot (bi_so_follower type). Action data includes position control for 12 joints (6 per arm). Observation data includes the 12 joint position states and video images from three camera perspectives (left_left_wrist, left_top, right_right_wrist), with a resolution of 720x1280, a frame rate of 30fps, and RGB format. The dataset is stored in parquet files for structured data and mp4 files for videos, with a total size of approximately 300MB (100MB for structured data and 200MB for videos). It is suitable for robot control, imitation learning, or computer vision tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，模仿学习与行为克隆方法的发展对高质量演示数据集提出了迫切需求。clean_desk_cube_v2_pi 数据集正是基于这一背景，采用双机械臂构型进行数据采集，由 LeRobot 框架生成，以 Parquet 格式存储结构化数据，并利用 AV1 视频编解码技术保存高分辨率视觉观测。数据集包含了 200 个完整训练片段，总帧数达 169,536 帧，涵盖了两种不同的任务类型，为多任务模仿学习提供了丰富素材。其构建过程强调了对机器人状态与动作序列的同步采集，确保了时序一致性与动作复现的精确性。

使用方法

应用该数据集时，研究者可借助 LeRobot 生态中的可视化工具直接对样本数据进行预览与分析，从而快速了解任务分布与演示质量。数据遵循标准的训练/测试划分，所有 200 个片段均归入训练集，为用户提供了统一的基准评估条件。在实际使用中，可通过读取 Parquet 文件获取每一时间步下的机器人状态、动作指令以及观测图像，进而构建端到端的策略网络。对于基于视频的模型，数据集预编码的 AV1 视频格式也支持直接解码与批处理操作，极大简化了数据加载流水线。

背景与挑战

背景概述

clean_desk_cube_v2_pi数据集由Hugging Face平台上的jio2用户于近期开发，依托LeRobot框架构建，专注于机器人操作任务的研究。该数据集以双手机器人（bi_so_follower）为核心平台，记录了在整洁桌面上操作立方体的精细动作，涵盖200个片段、超过16.9万帧的高清视觉与运动状态数据。核心研究问题在于如何通过多视角视觉输入（如左腕和顶部摄像头）与关节角度状态，实现机器人对物体的精确抓取与放置操作。该数据集为模仿学习、行为克隆及机器人技能迁移提供了标准化基准，对推动具身智能在桌面级精细操作领域的应用具有重要影响。

当前挑战

该数据集所解决的领域问题在于机器人精细操作中模仿学习的泛化性与鲁棒性挑战，尤其针对桌面上立方体的准确抓取与放置任务，要求模型能够适应物体位置变化与操作误差。构建过程中面临的挑战包括：多摄像头（720p分辨率）的高频同步采集要求严格的时间戳校准与数据对齐；30帧/秒的双臂关节状态记录需处理12维动作空间的高维非线性映射；从200个任务片段中提取通用操作策略，需克服小样本下的过拟合风险；视频编码（AV1）与Parquet格式的数据存储需平衡压缩效率与读取速度，确保大规模训练的可复现性。

常用场景

经典使用场景

在机器人学习与模仿学习领域，clean_desk_cube_v2_pi数据集凭借其精细的动作序列与多视角视觉信息，成为训练双臂机器人执行桌面物体整理任务的经典基准。该数据集记录了机器人从杂乱桌面中识别并抓取立方体、将其归位至指定区域的完整过程，包含200个演示片段，覆盖30帧每秒的高频动作轨迹与左右腕部、顶部四路高清摄像头影像。研究者可基于此数据训练基于视觉的运动策略，如模仿学习中的行为克隆或逆强化学习模型，使机器人从示范中习得协调的抓取与放置行为，尤其适用于评估算法在复杂多变场景下的泛化能力与鲁棒性。

解决学术问题

该数据集直击机器人操作研究中长期存在的两大核心困境：一是多模态感知与动作生成的跨模态对齐难题，二是双臂协同作业中的时序与空间协调挑战。通过提供同步记录的双臂12维关节控制信号、多视角图像流及时间戳信息，它为开发端到端学习框架提供了坚实的数据地基。学术界借助它探讨如何从高维视觉输入中解耦抓取策略与路径规划，验证注意力机制或动态规划方法在减少累积误差方面的有效性。其开放性与标准化格式（基于LeRobot框架）也推动了可复现性研究，使不同算法在同一实验条件下公平比较，加速了具身智能从理论到实践的转化进程。

实际应用

在工业自动化与仓储物流的降本增效诉求下，该数据集模拟的桌面整理场景直接映射至真实生产线的物料分拣与组装工位。基于其训练的机器人系统可部署于电子元件装配、药品分拣或日用品打包等环节，替代人工完成重复性高的搬运任务。数据集中的双臂配置尤其适合处理体积较小、需精细操控的物体，例如在精密仪器检修中协作拿取螺丝与垫片。此外，其多视角图像数据还可用于训练质检算法，通过监控中实时检测工件位置偏差并触发机械臂的微调纠偏，形成感知-决策-控制闭环，提升产线良品率与作业安全性。

数据集最近研究

最新研究方向

清洁桌立方体操作任务的双臂协同模仿学习是当前机器人领域的前沿热点。该数据集通过高帧率多视角视觉与关节状态同步记录，构建了包含200个演示片段的精细动作轨迹库，为研究双臂机器人在复杂桌面环境中的柔性操作策略提供了标准化训练基准。结合LeRobot框架的开放生态，其高清视觉输入与12维动作空间设计，正推动视觉-运动联合表征学习与泛化性控制算法的突破，对实现工业分拣、精密装配等场景下的自适应机器人技能迁移具有重要奠基意义。