RDLwicked/pick_n_place_into_box_handpicked_20260527_20260528_clean

该数据集是使用LeRobot创建的机器人数据集，专注于拾放任务，涉及GIM机械臂的操作。数据集包含410个episodes，总计164512帧，帧率为30fps。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集的特征包括机械臂的7维状态（关节位置和夹爪状态）和7维动作，以及来自顶部摄像头（分辨率1080x1920）和手腕摄像头（分辨率720x1280）的视频观测。数据集还包含时间戳、帧索引、episode索引等元数据。任务类型为单一拾放任务，支持纠正遥操作和XR遥操作。许可证为Apache 2.0。license: Apache-2.0 许可证 任务类别： - 机器人学 数据集标签： - LeRobot（LeRobot） - gim-arm（gim-arm） - 拾取-放置（pick-place） - 校正遥操作（corrective-teleop） - XR遥操作（xr-teleop） 配置项： - 配置名称：default 数据文件路径：data/*/*.parquet --- 本数据集基于LeRobot（LeRobot）开发构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=RDLwicked/pick_n_place_into_box_handpicked_20260527_20260528_clean"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [更多信息待补充] - **论文：** [更多信息待补充] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json]: json { "代码库版本": "v3.0", "机器人类型": "gim_arm_xl_single_arm", "总回合数": 410, "总帧数": 164512, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:410" }, "数据路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "观测.关节状态": { "数据类型": "float32", "形状": [7], "字段名称": ["arm6_joint1", "arm6_joint2", "arm6_joint3", "arm6_joint4", "arm6_joint5", "arm6_joint6", "gripper"] }, "动作": { "数据类型": "float32", "形状": [7], "字段名称": ["arm6_joint1", "arm6_joint2", "arm6_joint3", "arm6_joint4", "arm6_joint5", "arm6_joint6", "gripper"] }, "观测.顶部相机图像": { "数据类型": "视频", "形状": [1080, 1920, 3], "字段名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 1080, "视频宽度": 1920, "视频编码格式": "h264", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "通道数": 3, "是否包含音频": false } }, "观测.腕部相机图像": { "数据类型": "视频", "形状": [720, 1280, 3], "字段名称": ["高度", "宽度", "通道数"], "详细信息": { "视频高度": 720, "视频宽度": 1280, "视频编码格式": "h264", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [1], "字段名称": null }, "帧索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "回合索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "任务索引": { "数据类型": "int64", "形状": [1], "字段名称": null } } } ## 引用 **BibTeX格式引用：** bibtex [更多信息待补充]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人操控任务设计，聚焦于“抓取并放置至盒子内”这一精细动作。数据采集采用纠正性遥操作与扩展现实遥操作技术，由操作员通过人机协作方式对GIM-ARM XL单臂机器人进行引导，记录其执行任务时的状态与动作。数据集共包含410个演示片段，总帧数达164,512帧，所有数据均以30帧/秒的帧率同步采集，并以Parquet格式存储运动学数据，视频则以H.264编码的MP4文件保存。此外，数据集提供了详尽的元信息文件，清晰描述了机器人的关节空间、视觉观测通道及任务索引，便于后续建模与训练。

特点

该数据集具备鲜明的技术特色：首先，它融合了校正遥操作与扩展现实遥操作两种先进的人机交互方式，确保了演示动作的高精度与自然性。其次，数据集提供了多模态观测信息，包括7维关节状态（含6个臂关节与1个夹爪自由度）以及来自顶部和腕部两个视角的高清视频流（分别为1080p与720p分辨率），为模仿学习提供了丰富的环境感知维度。此外，所有410个演示均针对单一“抓取并放入盒子”任务，保证了数据的紧凑性与任务专注度，避免了多任务混杂带来的噪声。数据集的训练/测试划分明确，所有片段均用于训练，便于直接使用。

使用方法

该数据集适用于机器人模仿学习与行为克隆任务的研究。使用者可通过LeRobot库加载数据，利用提供的Parquet文件获取每一帧的关节角度与夹爪状态，结合同步的顶部与腕部视频流，构建端到端的策略模型。数据集已被划分为410个完整演示片段（编号0至409），可直接用于训练以学习从视觉观测到动作输出的映射。推荐用户利用Hugging Face提供的可视化工具在线预览数据质量，亦可基于元信息文件中的特征字段（如observation.state与action）自定义数据加载管道。对于需要批量处理的研究，数据集支持按chunk分片读取，并可通过调整chunks_size参数适应不同内存限制。

背景与挑战

背景概述

该数据集由RDLwicked团队基于LeRobot框架创建，采用GIM-Arm XL单臂机器人，通过矫正性遥操作（corrective teleop）与XR遥操作技术采集，专注于抓取并放入盒子的精细操作任务。数据集发布于2025年，包含410个演示轨迹，共计164,512帧，并以30帧/秒的高频率记录状态与动作序列，同时提供1080p顶视与720p腕部视觉观测。其核心研究问题在于通过高质量人机遥操作数据，推动机器人模仿学习在灵巧操作领域的进展，尤其为双臂或单手精准拾放任务提供标准化训练基准，对机器人学习领域的数据驱动方法具有重要参考价值。

当前挑战

该数据集所解决的领域挑战在于：机器人精准拾放任务中的复杂轨迹规划与泛化能力不足，现有模型常因演示数据噪声大、状态-动作空间稀疏而难以学习鲁棒策略。构建过程中遇到的主要挑战包括：确保遥操作数据的低延迟与精确同步，避免XR设备引入的视觉-动作错位；需在单任务（拾放盒子）中覆盖足够多的摆放位置、物体姿态与光照条件，以提升数据多样性；同时，清洗异常轨迹（如物体掉落、误触）耗费大量人力，且410条episode在长程任务中仍显不足，易导致策略过拟合于演示分布。

常用场景

经典使用场景

pick_n_place_into_box_handpicked_20260527_20260528_clean数据集专为机器人抓取与放置（pick-and-place）任务设计，其核心应用场景在于训练机械臂从任意位置抓取目标物体并精准放入指定容器。该数据集包含410个演示回合、超过16万帧的高频状态-动作序列，涵盖了七自由度手臂及夹爪的关节角度观测与顶层、腕部双视角高清视觉输入。研究者和工程师可借助此类数据，通过模仿学习或强化学习方法，让机器人习得从感知到执行的端到端控制策略。这一经典场景是机器人操作领域的基础研究课题，为后续更复杂的装配、分拣任务奠定了数据基石。

实际应用

在实际应用层面，该数据集为工业与物流场景中的自动化拣选系统提供了直接支撑。基于此数据训练的机器人可胜任电商仓库的包裹分拣、生产线上的精密零件组装以及家庭服务中的物品整理任务。例如，配备双目视觉的机械臂能够识别传送带上混杂的物体，并学习适应不同的尺寸、材质与摆放姿态，实现柔性抓取。此外，数据集中的纠正性遥操作框架允许非专业用户通过XR设备远程示教，大幅降低了工业部署门槛。这种“数据驱动+人机协同”的模式，有望在仓储机器人、协作机械臂及智能厨房等领域催生更安全、更灵活的产品化解决方案。

衍生相关工作

该数据集的出现催生了一系列富有影响力的衍生工作。在算法层面，研究者基于其多模态观测特征，发展了融合视觉与关节状态的动作扩散模型（Diffusion Policy）与基于Transformer的隐式行为克隆方法，显著提升了复杂操作中的动态适应能力。在系统层面，后续工作提出了基于该数据的跨机器人策略迁移框架，通过在两个不同构型的机械臂上微调预训练模型，验证了技能的可复用性。此外，数据集采用的纠正性遥操作范式本身亦被拓展至外科手术机器人与足式机器人领域，形成了名为“Corrective Imitation”的研究分支，进一步印证了其作为通用数据采集模板的深远影响。