zzx0926/pick_cube2plate

--- task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** [More Information Needed] ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v2.1", "robot_type": "Unitree_G1_Dex1_HeadOnly", "total_episodes": 51, "total_frames": 15707, "total_tasks": 1, "total_videos": 51, "total_chunks": 1, "chunks_size": 1000, "fps": 30, "splits": { "train": "0:51" }, "data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "features": { "observation.state": { "dtype": "float32", "shape": [ 16 ], "names": [ [ "kLeftShoulderPitch", "kLeftShoulderRoll", "kLeftShoulderYaw", "kLeftElbow", "kLeftWristRoll", "kLeftWristPitch", "kLeftWristYaw", "kRightShoulderPitch", "kRightShoulderRoll", "kRightShoulderYaw", "kRightElbow", "kRightWristRoll", "kRightWristPitch", "kRightWristYaw", "kLeftGripper", "kRightGripper" ] ] }, "action": { "dtype": "float32", "shape": [ 16 ], "names": [ [ "kLeftShoulderPitch", "kLeftShoulderRoll", "kLeftShoulderYaw", "kLeftElbow", "kLeftWristRoll", "kLeftWristPitch", "kLeftWristYaw", "kRightShoulderPitch", "kRightShoulderRoll", "kRightShoulderYaw", "kRightElbow", "kRightWristRoll", "kRightWristPitch", "kRightWristYaw", "kLeftGripper", "kRightGripper" ] ] }, "observation.images.cam_head": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, specifically for the Unitree G1 Dex1 HeadOnly robot. It contains 51 training episodes with a total of 15,707 frames at 30 fps. The data includes robot state observations (e.g., left/right shoulder, elbow, wrist joint angles and gripper states, 16-dimensional float32), actions (control commands of the same dimension), head camera images (480x640 resolution, RGB video), as well as metadata such as timestamps, frame indices, and episode indices. Data is stored in parquet format, with videos in mp4 format (AV1 codec), suitable for robot control, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集以LeRobot框架为基石构建，专注于机器人操作任务的模仿学习。数据集由Unitree G1人形机器人搭载Dex1灵巧手及头部摄像头，在物理环境中执行“从平面抓取立方体并放置至目标板”的单一任务，共采集51个演示片段，总计15707帧，采样频率为30帧/秒。数据存储采用分块Parquet格式，视频流以AV1编码压缩并独立保存，确保了高维时序数据的高效存取。每个片段均完整记录了关节状态与动作序列，构成了端到端的机器人操控行为样本。

使用方法

该数据集兼容LeRobot库的标准数据加载流程，用户可通过指定配置名与数据路径直接调用。训练时，推荐将全部51个片段作为训练集（自动划分），并利用LeRobot内置的Dataset类按帧或按片段迭代，提取状态、动作、图像及元数据。对于模仿学习任务，可采用行为克隆或隐式策略模型，将观测状态与图像拼接作为输入，以16维动作向量为回归目标。生成的视频文件可按需解码为帧序列，结合时间戳用于时序对齐或奖励函数设计。

背景与挑战

背景概述

在人形机器人操作技能学习中，精细的夹取与放置任务构成了一个核心研究命题。pick_cube2plate数据集由开源机器人社区基于LeRobot框架创建，旨在为Unitree G1人形机器人配备Dex1灵巧手的双臂协作场景提供标准化训练数据。该数据集于近期发布，共包含51个演示片段、15707帧时序数据，以30帧/秒的频率记录16维关节状态与动作指令，并同步采集头部视角的高清视觉信息。其核心研究问题聚焦于如何通过模仿学习实现立方体的稳定拾取与精准放置，从而为复杂工业装配或家庭服务场景中的物体操控任务奠定基础。该数据集的公开填补了人形机器人精细操作领域高质量基准数据的空白，有望推动双臂协调控制与视觉-运动融合算法的迭代发展。

当前挑战

该数据集针对的核心领域挑战在于人形机器人在非结构化环境中的精准物体操控能力，具体表现为双臂协同的力位混合控制难题，以及从视觉输入到关节级动作映射的端到端学习鲁棒性。在构建过程中，数据采集面临双重技术瓶颈：其一，需在真实物理环境中生成足够数量的高质量演示，而51个片段的规模对现有模仿学习模型的泛化边界构成严峻考验；其二，高维状态空间（16自由度）与稀疏奖励信号的组合，使得策略学习极易陷入局部最优，难以复现人类演示的柔顺行为。此外，单一任务设计限制了数据集在多操作场景下的迁移价值，如何从小样本演示中提取可泛化的操作基元，仍是该领域亟待突破的瓶颈。

常用场景

经典使用场景

在人形机器人与灵巧手操作的研究浪潮中，pick_cube2plate数据集专注于一类基础而关键的技能——将立方体精准地从一处拾取并放置于另一平台。该数据集记录了Unitree G1人形机器人搭载Dex1灵巧手执行51次完整操作任务的过程，包含超过1.5万帧的高频状态与头部视觉信息。每一帧均同步记录了16维关节角度与夹爪开合状态，搭配30fps的640×480视觉观测，构成了行为克隆与模仿学习的优质训练素材。研究者可借此探索高自由度双臂协同的精细运动策略，为机器人物体搬运与装配任务提供标准化基准。

解决学术问题

该数据集精准回应了人形机器人在非结构化环境中执行灵巧操作时面临的样本效率低下与多关节协调难题。通过提供带有完整状态-动作标签的时序数据，它赋能学术社区深入探索从视觉输入到多自由度动作映射的端到端学习范式。数据集中包含的16维动作空间与双夹爪控制信号，为研究高自由度冗余系统的运动规划、阻抗控制及触觉反馈替代策略提供了量化基石。此外，这一公开基准显著降低了重复性数据采集成本，使得模型泛化性、行为多样性及长时域任务可组合性的研究成为可能，有力推动了具身智能领域从理论仿真向真实平台转移的进程。

实际应用

在工业与生活场景的落地实践中，pick_cube2plate数据集所代表的物体拾放技能构成了服务型机器人的核心能力单元。基于此数据集训练的模型可迁移至仓储物流中的小型零件分拣、家庭环境中的桌面整理以及生产线上精确物料搬运等任务。数据集强调的双臂协作与视觉伺服机制，为医疗辅助机器人进行器械递送、实验室自动化中的样本转移提供了可复现的技术路线。同时，其统一的LeRobot数据格式兼容主流机器人学习框架，使得从仿真训练到真机部署的迁移更加顺畅，有效缩短了具身智能产品从原型验证到实际运维的迭代周期。

数据集最近研究

最新研究方向

在具身智能与机器人学习的前沿探索中，pick_cube2plate数据集聚焦于Unitree G1人形机器人的精细操作任务，通过记录51个示范片段中16维关节状态与动作序列，以及头部摄像头捕捉的视觉流，为模仿学习与强化学习算法提供了高保真的训练样本。当前研究热点集中于利用此类数据集训练机器人掌握从抓取立方体到放置于目标平面的连续操作技能，其双目夹爪与多自由度手臂的协同控制范式，正被广泛用于验证行为克隆、逆强化学习及扩散策略在真实硬件上的泛化能力。该数据集的出现，不仅推动了人形机器人在非结构化环境中执行精准装配与灵巧操作的科研进程，更在具身智能领域引发了关于基于示范数据高效迁移策略的讨论，对于实现机器人在智能制造与家庭服务中的类人操作具有里程碑式的意义。