vasco281204/pick_red_20260527_133805

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=vasco281204/pick_red_20260527_133805"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "fps": 30, "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.left": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "total_episodes": 100, "total_frames": 63101, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "robot_type": "so_follower", "splits": { "train": "0:100" } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and is a robotics manipulation dataset focusing on robotic arm control tasks. It includes actions and state observations for a 6-DOF robotic arm (e.g., shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper), along with video image observations from left and top views at 480x640 resolution. Data is collected at 30fps and includes metadata such as timestamps, frame indices, episode indices, and task indices. The dataset consists of 100 episodes, 63101 frames, and covers 1 task. Data is stored in parquet format, with total data file size of approximately 100MB and video file size of approximately 200MB. The robot type is so_follower, suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量示范数据的采集往往依赖于标准化的遥操作框架。该数据集通过LeRobot工具链完成构建，以SO-Follower型机器人本体为平台，围绕单一抓取任务进行系统性示范录制。全部数据划分为100个回合，累计63101帧，采样频率稳定在30赫兹。操作者的动作指令与机器人本体状态均以6维关节位置向量同步记录，同时由左视与顶视两路摄像头采集480×640分辨率的视频观测，最终以Parquet列式存储结合AV1编码视频的形式组织为分块文件，构成结构规整的机器人操作轨迹语料库。

特点

该数据集在任务语义上高度聚焦，所涵盖的示范旨在完成抓取红色目标物体这一具体操作，数据集命名亦由此而来。其核心特征表现为高时空对齐的多模态同步——动作、关节状态与双视角视觉流在同一时间戳下严格对应，为策略学习提供了完整的感知—动作映射依据。100个回合、逾六万帧的体量在同类单任务数据集中具备可观的规模，足以支撑模仿学习与视觉运动策略的初步训练。数据集遵循apache-2.0许可协议，元信息以v3.0代码库版本组织，并划分出完整的训练集切分，便于研究者直接复现实验流程。

使用方法

使用该数据集时，研究者可借助LeRobot官方提供的可视化空间在线浏览轨迹回放，直观检视示范质量与任务完成情况。数据以Parquet文件承载低维动作与状态信号，视频流则以MP4文件单独存放，调用时需依照meta/info.json中定义的路径模板，将chunk索引与文件索引拼接为实际文件位置。数据集划分已明确为训练集0至100号回合，可直接接入基于行为克隆或扩散策略的机器人学习管线。对于采用LeRobot框架的开发者，可通过标准数据加载接口读取动作、观测状态及双路图像特征，进而构建端到端的抓取策略模型。

背景与挑战

背景概述

在机器人学习领域，高质量、标准化的示教数据是推动模仿学习与操作策略泛化的核心资源。pick_red_20260527_133805数据集于2026年5月由LeRobot框架生态中的研究者构建，依托HuggingFace平台公开发布，采用Apache-2.0许可。该数据集聚焦于机械臂抓取红色目标物的单一任务，包含100个回合、63101帧、30Hz采样频率的视觉-动作对，涵盖肩部旋转、升降、肘部弯曲等六维关节位置及双视角视频观测。其核心研究问题在于为视觉引导的机器人抓取任务提供可复现的基准数据，以降低策略学习对真实环境交互的依赖，对具身智能与操作学习社区具有基础性支撑价值。

当前挑战

该数据集所应对的领域问题为视觉引导的机器人抓取，其核心挑战在于目标物颜色与位姿的多样性、光照变化及遮挡条件下的鲁棒感知与精确控制。构建过程中亦面临多重困难：单一任务虽简化了标注流程，却对数据采集的稳定性与一致性提出更高要求；仅100个回合的规模可能导致策略泛化能力受限，难以覆盖真实场景中的复杂分布；双视角视频以AV1编码存储，需在解码效率与帧间对齐间取得平衡；此外，六维关节位置作为动作标签，其精度受限于示教者的操作平滑度与传感器噪声，为后续模仿学习引入固有偏差。

常用场景

经典使用场景

在机器人模仿学习与视觉-动作策略建模领域，该数据集呈现了典型的桌面抓取任务范式，即通过六自由度机械臂完成指定颜色物体的拾取操作。数据集以30帧每秒的采样频率同步记录双视角视觉观测与关节位置状态，构成了一个结构完整的视觉-运动序列语料，常用于训练端到端的策略网络，使机械臂能够在连续视觉反馈下习得从原始像素到动作指令的映射关系。

实际应用

在工业分拣与仓储物流场景中，该数据集可迁移至基于视觉引导的自动化抓取系统，助力机械臂识别并拾取特定颜色的目标物件。服务机器人领域亦可借助其训练家庭环境下的物品整理能力，例如从混杂物体中拣出指定颜色的器具。此外，该数据集适用于算法原型验证与教学演示，为低成本机械臂平台提供可复用的训练素材，缩短从仿真到真机的部署周期。

衍生相关工作

围绕该数据集，研究者可衍生出一系列经典工作，包括基于变分自编码器的视觉-动作联合嵌入模型、融合双视角特征的空间注意力策略网络，以及面向抓取任务的扩散策略生成方法。在数据增强层面，可发展轨迹插值与视角扰动技术以扩充样本多样性。该数据集亦可能催生针对颜色泛化与光照鲁棒的迁移学习研究，并为开源机器人学习生态贡献可比较的评测基准。