kunhsiang/eval_exp9_sc3var_grasp_the_box_on_the_plate_20260527-162245

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kunhsiang/eval_exp9_sc3var_grasp_the_box_on_the_plate_20260527-162245"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 1, "total_frames": 2397, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.gripper": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, focusing on robot task execution. It contains a single task (total_tasks: 1) with 1 episode and 2397 frames of data, stored in parquet format and accompanied by video files. The features include robot actions (e.g., joint positions for shoulder, elbow, wrist, and gripper), observation states (joint positions), image observations from three perspectives (front, top, gripper) with a resolution of 480x640, 3 channels, and 30fps, as well as timestamps, frame indices, episode indices, indices, and task indices. The dataset is suitable for robot learning and control research, supporting training and evaluation.

搜集汇总

数据集介绍

构建方式

在机器人操作技能研究领域，真实场景下的抓取任务数据对于策略学习与算法验证具有基础性价值。该数据集由LeRobot框架构建，遵循v3.0代码库版本规范，以SO-100系列机械臂为采集平台，通过遥操作或程序化控制方式执行“将盘子里的盒子抓取起来”这一单一任务，共采集1个完整回合、2397帧数据、总任务数为1，标称频率30帧每秒。数据以parquet列式存储格式组织为分块文件，视频流则按MP4容器独立编码，并配套生成meta/info.json元信息文件，完整记录了机器人类别、特征维度与路径命名规则。

特点

该数据集围绕单一抓取任务形成高密度时序记录，其显著特点在于多视角视觉观测与低维本体感知的同步融合。观测侧包含前视、俯视与夹爪三路AV1编码视频，分辨率均为640×480，帧率30Hz，能够从不同视角覆盖抓取过程中的空间关系变化；状态与动作空间则共享6维关节位置表示，涵盖肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部翻转与夹爪开合，维度紧凑且物理语义明确。所有模态数据按统一时间戳对齐，任务索引与回合索引独立标注，便于切片分析与时序建模。

使用方法

研究者可借助HuggingFace平台提供的LeRobot数据集可视化空间，在浏览器中直接检查该回合的视频轨迹与状态曲线，从而快速判断数据质量与任务可学性。若用于策略训练，可通过LeRobot代码库的标准数据加载接口读取parquet中的状态动作序列与对应视频帧，按data_path与video_path模式解析文件路径，并依据splits字段划分训练集。由于数据集仅含单回合，更适合作为算法调试、可视化验证或小样本模仿学习的示例素材，而非大规模统计训练的唯一来源。

背景与挑战

背景概述

伴随具身智能与机器人操作学习的蓬勃发展，真实世界下的精细抓取与放置任务成为衡量策略泛化能力的关键基准。该数据集由LeRobot框架构建，聚焦于SO系列机械臂在桌面上执行“抓取盒体放置于餐盘”这一典型任务，采集了单次操作回合共2397帧、30帧每秒的多视角视觉与本体状态数据，涵盖前视、俯视与夹爪视角三路视频流，并同步记录六自由度关节位置与动作指令。其核心研究问题在于为视觉-语言-动作模型或模仿学习策略提供高保真、多模态的示范样本，从而推动机器人在非结构化环境中完成连贯的抓取-放置序列。该数据集以Apache-2.0协议开放，体现了社区对可复现、可扩展机器人学习资源的持续投入。

当前挑战

该数据集所应对的领域问题在于真实机器人抓取放置任务中视觉感知与动作规划的紧密耦合，以及物体位姿变化、遮挡与接触不确定性带来的鲁棒性挑战。构建过程中，多路摄像头同步采集与时间戳对齐需保证毫秒级一致性，避免动作与视觉观测之间出现时序漂移；AV1编码在压缩视频时可能引入细微伪影，对基于像素的模仿学习构成干扰；单回合数据在任务多样性上存在局限，难以覆盖物体材质、光照与初始位姿的变化。此外，关节空间动作与图像观测的异构性要求模型具备跨模态对齐能力，而长序列操作中误差累积亦对策略稳定性提出更高要求。

常用场景

经典使用场景

在具身智能与机器人操作学习的研究中，以视觉-动作序列为核心的多模态示教数据集构成了策略学习的关键基础。该数据集依托LeRobot框架构建，记录了so_follower机械臂执行“将盒体放置于餐盘之上”这一抓取-放置任务的完整轨迹，涵盖2397帧、30fps的六维关节位置与夹爪动作信号，并同步采集前视、顶视及夹爪三路视频流。其最经典的使用场景在于模仿学习与视觉运动策略的端到端训练，研究者可借助行为克隆或扩散策略等方法，从高维视觉观测中直接回归连续动作，进而评估模型对抓放任务的时空理解与执行能力。

衍生相关工作

基于LeRobot生态构建的该数据集，为后续一系列机器人学习研究提供了实验素材与基准参照。围绕其衍生的经典工作包括基于行为克隆的视觉运动策略改进、引入扩散模型的轨迹生成方法，以及面向多任务泛化的元模仿学习框架等。这些工作在此基础上探索了动作分块、时序注意力与多视角融合等关键技术，逐步拓展了从单任务示教向多任务、跨场景技能迁移的研究边界，并促进了开源机器人学习社区在数据格式与评估协议上的标准化协作。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，面向精细抓取任务的视觉-动作联合建模正成为前沿探索的核心议题。该数据集依托LeRobot框架，以SO-Follower机械臂执行“抓取盘上盒子”这一典型操作任务，集成前视、俯视与夹爪三路视觉观测及六自由度关节位置轨迹，为多视角感知与动作序列的端到端学习提供了高质量的真实世界示范数据。当前研究趋势聚焦于利用此类多模态时序数据开展模仿学习与视觉-语言-动作模型微调，探索跨视角空间表征对齐、抓取策略的泛化性与鲁棒性。其意义在于为机器人精细操作中的数据驱动方法提供可复现的基准，推动具身智能从仿真向真实场景迁移的进程。