kunhsiang/eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-154858

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kunhsiang/eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-154858"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 1, "total_frames": 2261, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.gripper": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics manipulation dataset created using LeRobot, focusing on robot control tasks. It contains 1 task, 1 episode, and 2261 frames of data, stored in parquet format with video files in MP4 format at 30fps. The features include 6-dimensional action and state vectors (corresponding to robot joint positions: shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), as well as image observations from three perspectives (front, top, and gripper), each with a resolution of 480x640x3. The dataset uses the so_follower robot type, with a total data file size of 100MB and video file size of 200MB, suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向机器人抓取任务，采用so_follower机械臂作为数据采集平台。数据录制以单一任务场景为驱动，通过遥操作或预定义控制策略引导机械臂执行“抓取盘子外侧盒子”的动作，并同步采集多模态观测信息。整个采集流程以30帧每秒的频率记录，共获取2261帧、1个回合的完整操作序列，随后将数据以Parquet列式存储格式归档，视频流则编码为AV1格式，形成结构化的机器人学习数据集。

特点

数据集聚焦于机器人抓取任务中的特定空间关系，即目标物体位于容器外侧的场景，为视觉-动作映射研究提供了细粒度样本。数据涵盖前视、俯视及夹爪视角三路视频流，分辨率均为480×640，同时记录机械臂六维关节位置与动作指令，构成多视角、多模态的观测体系。单回合、单任务的精简结构便于快速验证算法，而LeRobot标准化元信息配置则确保了数据格式的规范性与可复现性。

使用方法

用户可通过LeRobot工具链加载数据集，借助HuggingFace Spaces提供的可视化界面直接浏览视频与状态轨迹。在模型训练中，研究者可读取data目录下的Parquet文件获取动作与状态序列，并利用videos目录中的视频帧作为视觉输入，构建模仿学习或视觉-语言-动作模型。数据集遵循Apache-2.0许可，支持在机器人操作任务中进行算法评估与基准测试，尤其适用于涉及空间关系推理的抓取策略研究。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界操作数据集是推动算法从仿真走向物理部署的关键基石。该数据集由LeRobot框架构建，于2026年5月生成，虽未在README中明确标注具体研究人员与机构，但LeRobot作为HuggingFace生态中广泛使用的机器人学习平台，其数据集往往服务于模仿学习与视觉-语言-动作模型的训练。该数据集聚焦于“抓取盘子外侧的盒子”这一具体操作任务，记录了单次成功演示的完整多模态序列，涵盖前视、俯视与夹爪视角三路视频流以及六自由度关节位置与动作指令，为研究桌面环境下的目标抓取与空间推理提供了细粒度观测样本。其核心研究问题在于如何利用有限的示范数据实现具有空间关系约束的泛化抓取，对具身智能中长程任务规划与视觉运动控制具有潜在的参考价值。

当前挑战

该数据集所对应的领域挑战在于，抓取盘子外侧的盒子要求智能体准确理解“盘子”与“盒子”之间的空间排斥关系，并规划出避免碰撞的末端执行器轨迹，这在非结构化环境中属于典型的空间关系推理与避障抓取难题。构建过程中面临的挑战同样显著：仅含单次成功演示的数据规模严重限制了模仿学习策略的泛化能力，易导致过拟合；三路视频流需在30帧每秒的时序对齐下保持同步，对数据采集与后处理的一致性提出较高要求；此外，任务成功与否高度依赖精确的关节位置标定与夹爪开合时序，任何微小的标定误差或视觉遮挡都可能使策略在真实部署中失效。

常用场景

经典使用场景

在机器人学习领域，操作技能的数据驱动习得始终是核心议题，而该数据集恰为机械臂抓取任务提供了高保真示范。其经典用法在于以监督学习范式训练视觉-动作策略：利用前置、顶部及夹爪三路视频流与六维关节位置序列，构建从图像观测到动作指令的映射模型，使so_follower机械臂习得将盘子外侧的盒子精准抓取并移入指定区域的能力。此类单任务、单回合的示范数据常被用于模仿学习算法的快速验证。

解决学术问题

长期以来，机器人抓取研究面临真实世界数据稀缺、任务定义模糊与评估标准不一的困境。该数据集以明确的任务描述、精细标注的关节轨迹与多视角视觉信息，为端到端策略学习提供了可复现的基准。其学术贡献在于缓解了仿真到现实迁移中的域差异问题，并为视觉伺服、抓取位姿估计及轨迹规划等子问题提供了统一的实验载体，推动了数据高效学习范式在机器人操作中的发展。

衍生相关工作

以该数据集为基础，后续工作多集中于模仿学习算法的改进与多任务扩展。例如，基于其视觉-动作对数据，研究者提出了结合扩散策略或隐式行为克隆的抓取方法；亦有工作将其作为LeRobot生态中的评测基准，衍生出跨本体迁移、少样本适应及语言条件策略等经典研究。这些工作共同丰富了机器人操作学习的方法论体系。