saipuneethgottam/pickplace_123cam_newdemos_20260526_161032

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=saipuneethgottam/pickplace_123cam_newdemos_20260526_161032"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 100, "total_frames": 53178, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:100" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.camera1": { "dtype": "video", "shape": [ 720, 1280, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 720, "video.width": 1280, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "observation.images.camera2": { "dtype": "video", "shape": [ 720, 1280, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 720, "video.width": 1280, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "observation.images.camera3": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false, "video.g": 2, "video.crf": 30, "video.preset": 12, "video.fast_decode": 0, "video.video_backend": "pyav", "video.extra_options": {} } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotic manipulation dataset focused on pickplace tasks, created using the LeRobot tool. It contains 100 training episodes with a total of 53,178 frames at 30 fps, licensed under Apache 2.0. The robot type is so_follower, with action and state data as 6-dimensional float values corresponding to shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions. Observations include video streams from three cameras: camera1 and camera2 at 720x1280 resolution (RGB), and camera3 at 480x640 resolution (RGB), all encoded in AV1. The dataset is structured in Parquet files with metadata such as timestamps, frame indices, and episode indices, suitable for robotic learning and imitation learning research.

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量演示数据集的构建通常依托于标准化的数据采集框架。本数据集借助LeRobot工具链完成构建，采集平台为so_follower型机械臂，以30帧/秒的频率同步记录多视角视觉观测与关节状态。数据组织遵循v3.0代码库规范，轨迹数据以Parquet格式分块存储，视频数据采用AV1编码的MP4文件，并按chunk与file两级索引进行切片管理，最终形成100条完整演示回合、共计53178帧的训练数据。

特点

该数据集的核心特征在于多视角视觉与本体感知的深度融合。三路相机分别以1280×720和640×480分辨率提供互补的观测视角，动作与状态向量均涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部滚转及夹爪位置六个自由度，具备明确的语义命名。全部100条演示回合共享同一任务标签，时间戳、帧序号与回合序号等元信息完整，为模仿学习与策略泛化研究提供了结构清晰、模态丰富的机器人操作数据基础。

使用方法

该数据集面向机器人模仿学习与视觉运动策略研究，可通过LeRobot代码库直接加载使用。数据文件遵循data/chunk-{chunk_index}/file-{file_index}.parquet路径规则，视频文件则按videos/{video_key}目录结构组织，使用者可依据meta/info.json中的特征定义解析动作、状态及多路图像观测。数据集提供在线可视化入口，便于研究者直观检视演示轨迹与相机视角，从而支撑策略训练、动作预测以及多模态表征学习等多种下游任务。

背景与挑战

背景概述

机器人操作技能的学习长期受限于高质量示范数据的稀缺，尤其是涉及抓取与放置等基础操作的多视角视觉-动作配对样本。该数据集由LeRobot框架构建，收录100条示范轨迹、共53178帧，采用三路摄像头同步采集，涵盖so_follower机械臂的六维关节位置与夹爪状态，并以30帧每秒的频率记录。其核心研究问题在于为模仿学习与视觉运动策略提供标准化、可复现的多模态训练资源，推动从单视角向多视角感知的范式转变。凭借Apache-2.0许可与统一的parquet存储结构，该数据集为机器人学习社区提供了可扩展的基准，对灵巧操作与跨视角泛化研究具有基础支撑意义。

当前挑战

该数据集所应对的领域问题在于抓取-放置任务的鲁棒策略学习，要求模型在遮挡、光照变化与物体位姿不确定条件下实现精确的视觉-运动映射。构建过程中的挑战体现于三路异构相机的时空同步与标定，两路720p与一路480p视频流在编码参数与分辨率上的差异增加了多模态融合的复杂度；同时，仅含单一任务定义与100条轨迹的规模限制了策略的泛化能力，长时序动作序列的帧级对齐与高频视频存储亦对数据一致性提出严苛要求。上述因素共同构成该数据集在可扩展性与任务多样性方面的核心挑战。

常用场景

经典使用场景

在机器人模仿学习与视觉运动策略研究的经典范式中，该数据集凭借其三路摄像头同步采集的720p与480p多视角视频流及六自由度机械臂关节位置序列，构成了从多模态感知到动作映射的完整闭环。研究者通常将其用于训练基于示教的操作策略，例如通过行为克隆或扩散策略网络，使so_follower机械臂在抓取与放置任务中复现人类演示的运动轨迹。每帧同步记录的timestamp与frame_index为时序对齐提供了基准，而30fps的采样频率与53178帧的总量则保障了策略学习所需的时间分辨率与数据丰度，三路异构视角更让空间感知与遮挡补偿成为可能，是机器人操作学习中多视角模仿学习的典型基准。

解决学术问题

该数据集直击机器人操作研究中长期存在的若干核心痛点，包括真实环境下多视角视觉表征与低维关节动作之间的跨模态对齐难题、示教数据稀缺导致的策略泛化能力不足，以及视觉-运动策略在时序依赖建模上的样本效率瓶颈。通过提供100条完整任务演示与同步的多视角图像流，它为验证视觉编码器对空间关系的理解能力、评估时序模型对动作序列的建模精度提供了可复现的实验基础，并有效缓解了仿真到现实迁移中因视觉域差异而引发的性能衰退问题，对推动数据驱动的机器人操作策略研究具有基础性的支撑意义。

衍生相关工作

以该数据集为基础，学术界与开源社区衍生出一系列围绕多视角模仿学习与机器人操作策略的经典工作，包括基于扩散策略的多模态动作生成模型、融合时间卷积与Transformer架构的视觉运动策略，以及在LeRobot生态下构建的标准化训练与评估流水线。这些工作或在多视角特征融合层面提出新的注意力机制，或在动作序列建模中引入时序对比学习目标，亦或在数据集可视化与基准测试协议上形成通用范式，从而不断丰富以pickplace任务为锚点的机器人学习研究谱系，推动操作策略从单视角示教向多视角协同理解的范式演进。