clean_desk_v1_pi

该数据集是使用LeRobot框架创建的双臂机器人操作数据集，适用于机器人学习与控制任务。数据集包含200个完整的操作序列（episodes），总计152,263帧数据，采样频率为30Hz。每个数据样本包含以下关键信息：1) 动作指令：一个12维浮点向量，分别控制左臂和右臂的六个关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）；2) 观察状态：与动作指令对应的12维浮点向量，表示机器人当前各关节的实际位置；3) 视觉观察：来自两个顶部摄像头的RGB视频流，分辨率均为1280x720，编码格式为AV1；4) 时序与索引信息：包括时间戳、帧索引、序列索引、任务索引等。数据集采用Parquet文件格式存储，总数据量约300MB（其中结构化数据100MB，视频数据200MB）。该数据集专门针对双操作臂跟随器（bi_so_follower）机器人平台设计，可用于模仿学习、强化学习或视觉伺服控制等机器人学习任务的研究与开发。

This dataset is a dual-arm robot manipulation dataset created using the LeRobot framework, suitable for robot learning and control tasks. It contains 200 complete operation sequences (episodes), totaling 152,263 frames of data with a sampling frequency of 30Hz. Each data sample includes the following key information: 1) Action command: a 12-dimensional floating-point vector that controls the six joints of the left and right arms (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position); 2) Observation state: a corresponding 12-dimensional floating-point vector representing the actual positions of the robots joints; 3) Visual observation: RGB video streams from two top-mounted cameras, each with a resolution of 1280x720 and encoded in AV1 format; 4) Timing and indexing information: including timestamps, frame indices, sequence indices, task indices, etc. The dataset is stored in Parquet file format, with a total data volume of approximately 300MB (including 100MB of structured data and 200MB of video data). It is specifically designed for the dual-operation arm follower (bi_so_follower) robot platform and can be used for research and development in robot learning tasks such as imitation learning, reinforcement learning, or visual servo control.

原始信息汇总

数据集概述

• 数据集名称：clean_desk_v1_pi
• 数据集地址：https://huggingface.co/datasets/jio2/clean_desk_v1_pi
• 许可证：Apache-2.0
• 任务类别：机器人技术（robotics）
• 标签：LeRobot
• 创建工具：该数据集使用 LeRobot 创建。

数据集结构

基本信息

• 编码库版本：v3.0
• 帧率：30 FPS
• 总片段数：200
• 总帧数：152263
• 总任务数：1
• 数据块大小：1000
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 机器人类型：bi_so_follower
• 数据集划分：训练集（train）包含 0 到 200 片段

特征字段

该数据集包含以下特征字段：

• action：动作数据，数据类型为 float32，形状为 [12]，包含左右双臂各关节位置（如肩关节、肘关节、腕关节、夹爪等）。
• observation.state：观测状态数据，数据类型为 float32，形状为 [12]，与动作特征类似，包含左右双臂各关节位置。
• observation.images.left_left_top：左侧顶部相机图像，为视频数据，形状为 [720, 1280, 3]，使用 AV1 编码，帧率 30 FPS。
• observation.images.right_right_top：右侧顶部相机图像，为视频数据，形状为 [720, 1280, 3]，使用 AV1 编码，帧率 30 FPS。
• timestamp：时间戳，数据类型为 float32，形状为 [1]。
• frame_index：帧索引，数据类型为 int64，形状为 [1]。
• episode_index：片段索引，数据类型为 int64，形状为 [1]。
• index：索引，数据类型为 int64，形状为 [1]。
• task_index：任务索引，数据类型为 int64，形状为 [1]。

数据存储路径

• 数据文件：存储为 Parquet 格式，路径为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件：存储为 MP4 格式，路径为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人模仿学习任务设计。数据采集源自双臂机器人平台bi_so_follower，通过遥操作记录其整理桌面的完整操作过程。数据集包含200个独立episode，共计152,263帧时序数据。每个时间步均同步记录12维关节动作指令与对应的机器人状态观测值，以及来自左右两侧俯视视角的高清视觉图像（720×1280分辨率，30fps帧率）。数据以Parquet格式存储结构化信息，并采用AV1编码的视频文件保存图像序列，整体数据规模约300MB。

使用方法

推荐使用LeRobot库加载和预处理该数据集。用户可通过指定数据集路径利用API自动读取Parquet特征表与视频文件，并获取标准化后的动作-观测对。数据已按episode索引组织，便于提取完整轨迹。在模型训练中，可将12维关节动作作为预测目标，左右视角图像及状态向量作为输入特征。数据集支持批量采样、时序对齐及数据增强操作，适用于行为克隆、隐式策略等模仿学习方法的实现。Apache-2.0许可协议允许自由的学术与商业使用。

背景与挑战

背景概述

clean_desk_v1_pi数据集是由Hugging Face社区依托LeRobot框架创建的高质量机器人操作数据集，发布于Apache-2.0许可证之下。该数据集聚焦于桌面清洁这一具身智能领域的典型操作任务，旨在为双臂机器人学习提供标准化的训练与评估基准。数据集包含200个演示片段、逾15万帧时序数据，同步采集了12维关节状态与动作信息，以及来自两个720p高清视角的视觉观测。其构建动机源于机器人学习中对大规模、多模态、可复现操作数据集的迫切需求，尤其为模仿学习与离线强化学习算法在精细化操作任务上的发展提供了关键数据支撑。作为LeRobot生态体系中的代表数据集之一，clean_desk_v1_pi推动了机器人操作数据标准化进程，对双臂协同、任务泛化等领域的研究具有重要参考价值。

当前挑战

该数据集所解决的领域核心挑战在于为双臂机器人精细操作任务提供高保真、多模态的示范数据，以弥合仿真环境与真实世界操作之间的鸿沟。桌面清洁任务要求机器人准确感知物体位置、规划双臂轨迹并完成抓取与擦拭动作，其对状态-动作空间的高维性与时序一致性提出了严苛要求。在数据集构建过程中，技术挑战主要体现为多视角视觉与关节状态数据的精确同步、高频30fps采集下的数据存储与压缩策略优化，以及如何在有限演示片段中覆盖足够多样化的初始状态与干扰场景，以提升习得策略的鲁棒性。此外，利用AV1高效视频编解码在保证视觉质量的同时控制存储开销，也是一项关键工程难题。

常用场景

经典使用场景

clean_desk_v1_pi数据集是机器人操作领域里程碑式的学习资源，专为双机械臂协同清洁桌面这一精细任务而设计。该数据集以30帧每秒的高频采样率，精心收录了200个完整操作回合，总计超过15万帧的机器人运动轨迹。每条轨迹不仅包含12维度的关节动作指令和状态反馈，还配备了左右两个视角的高清视觉观测，分辨率高达720×1280像素。这种多模态的数据结构为模仿学习、离线强化学习等前沿算法提供了完美的训练素材，尤其适合研究双臂协作中的联合控制策略、视觉-运动映射关系以及长时域任务规划等关键科学问题。

解决学术问题

该数据集系统性地解决了机器人学习领域长期面临的几个核心挑战，包括真实物理环境中高自由度双臂系统的协同控制、复杂桌面场景下的精细化操作策略学习，以及多模态感知信息的高效融合问题。通过提供标准化的任务定义、高保真的传感器数据和可复现的评估基准，clean_desk_v1_pi使得研究人员能够在统一的平台上公平比较不同算法的性能，从而加速模仿学习、强化学习在灵巧操作任务中的理论突破。其深远意义在于推动机器人从实验室简单抓取迈向家庭和办公场所的真实服务型应用，为构建具备自主清洁能力的新型服务机器人奠定了坚实的数据基础。

实际应用

在实际应用层面，基于clean_desk_v1_pi数据集训练的机器人智能体可直接部署于智能家居领域，承担桌面整理、杂物清除、污渍擦拭等日常清洁维护工作。该数据集的精细标注和高频交互特性使其特别适合开发面向养老助残场景的辅助机器人，帮助行动不便者维持居住环境的整洁有序。此外，在工业环境中，掌握此类双臂清洁技能的机器人可用于精密仪器的维护、工作台的自动化清理以及无尘车间的标准化作业，显著提升生产效率并降低人工成本。其蕴含的双臂协同范式也为空中机器人、水下航行器等复杂平台的操控提供了可迁移的解决方案。

数据集最近研究

最新研究方向

在机器人学习与模仿学习的前沿疆域中，clean_desk_v1_pi 数据集正成为推动双臂协作操作研究的重要基石。作为基于 LeRobot 框架构建的高保真度数据集，它包含了 200 个完整演示片段与逾 15 万帧多视角视觉-动作序列，记录了双臂机器人在桌面清洁这一典型精细操作任务中的完整轨迹。当前，该数据集被广泛应用于基于扩散策略（Diffusion Policy）和动作分块变换器（ACT）的端到端模仿学习算法验证，尤其在长短时程动作规划、高维视觉-运动联合建模以及跨平台策略泛化等方向上展现出核心价值。值得注意的是，随着双臂协同操作在智能家居和医疗辅助领域成为热点，该数据集为研究者在面对非结构化环境时的鲁棒控制策略提供了稀缺的双臂同步运动数据，有力推动了具身智能体在真实物理世界中从感知到执行的闭环能力跃升。