kunhsiang/eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-130603

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kunhsiang/eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-130603"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 1, "total_frames": 2060, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.gripper": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot, designed for robot learning tasks. It contains a complete training set with 1 task, 1 episode, and 2060 frames. Data is collected at 30fps and includes robot actions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), state observations (same joint positions as actions), and multi-view image observations: front camera, top camera, and gripper camera videos (resolution 480x640, 3-channel RGB). The dataset is stored in Parquet format, with video files in MP4 format using the AV1 codec. It is suitable for applications such as robot control, imitation learning, or reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，以so_follower机械臂为采集平台，围绕“将盘子外的盒子抓取”这一特定操作任务，在真实物理环境中完成单次示范性数据采集。采集过程以30帧每秒的频率同步记录六自由度关节位置、夹爪开合状态以及前视、顶视与夹爪视角三路视频流，共获得2060帧时序样本。数据经标准化处理后，按照Parquet列式存储与AV1编码视频分别组织，形成结构化的机器人操作轨迹数据集。

特点

数据集聚焦于盘子外目标物体的抓取场景，涵盖视觉观测与本体感知的同步多模态信息。三路视频分别提供全局前视、俯视以及夹爪局部视角，有助于捕捉抓取过程中目标与机械臂的相对空间关系。关节状态与动作指令均以六维向量表示，包含肩部、肘部、腕部及夹爪的连续位置量。数据以单次任务演示呈现，帧率与视频编码参数统一，便于直接用于模仿学习或视觉运动策略的验证。

使用方法

研究者可通过LeRobot提供的可视化工具在线浏览数据集的视频与轨迹信息，亦可直接下载Parquet数据文件与对应视频资源进行本地分析。数据路径遵循chunk与file的索引命名规则，便于按块读取。使用时可依据info.json中的特征定义解析动作、状态及图像字段，并利用timestamp与frame_index实现时序对齐。该数据集适用于训练或评估机器人抓取策略，尤其在涉及盘子外物体定位与夹取的任务中可作为示范数据来源。

背景与挑战

背景概述

机器人操作领域长期追求从视觉感知到精细动作的端到端技能习得，抓取与放置任务则是检验该能力的经典试金石。该数据集由LeRobot框架构建，记录一台so_follower机械臂在单一回合中完成“抓取盘子外部的盒子”这一特定任务，包含2060帧30fps的同步多视角视频（前视、俯视、夹爪视角）及关节位置、动作序列等状态信息。作为2026年发布的抓取行为评估数据，其核心价值在于为视觉-动作映射、跨视角物体定位与抓取策略学习提供细粒度真值，并推动数据驱动型机器人操作研究向可复现、可比较的方向演进。

当前挑战

该数据集所面对的核心领域挑战在于，机器人需在非结构化视觉场景中精准区分盘子内外区域并完成跨边界抓取，这对空间关系理解与抓取时机控制提出极高要求。在构建过程中亦面临多重困难：单回合、单任务的数据规模限制了对策略泛化性的评估；三路视觉流与六自由度关节动作的时空同步需要精细校准；夹爪视角的持续遮挡与光照变化干扰了物体位姿估计的稳定性。这些因素共同导致抓取成功率对视觉编码器与动作解码器的耦合设计高度敏感。

常用场景

经典使用场景

在机器人学习与具身智能研究领域，基于视觉引导的抓取操作长期被视为检验算法泛化能力的试金石。该数据集以“抓取盘外盒子”为单一任务，通过SO-100 follower机械臂采集了2060帧30fps的多视角视频与六维关节动作序列，包含了前视、顶视与夹爪三个同步视觉流。其最经典的使用场景在于训练端到端的视觉-动作策略模型，使机械臂能够依据实时视觉反馈自主生成关节位置指令，完成从盘子外部区域抓取盒子的精细操作。

实际应用

在实际应用层面，该数据集所承载的抓取盘外物体技能可直接迁移至仓储物流中的分拣作业、家庭服务机器人对桌面散落物品的整理，以及工业产线中零件从料盘边缘的拾取。多视角视觉配置契合真实机器人平台的传感器布局，30fps的时序精度满足实时控制需求。开发者可基于该数据快速验证抓取策略在边界条件下的表现，进而部署至需要规避容器干涉的抓取任务中，提升自动化系统的环境适应能力。

衍生相关工作

依托LeRobot开源生态，该数据集衍生出若干经典工作方向。研究者常将其作为视觉-语言-动作模型的微调素材，探索多模态大模型在低层控制中的知识迁移；亦有工作以此为基础开展数据增强与仿真到现实的迁移研究，通过域随机化提升策略的跨场景稳健性。此外，该数据集还被用于对比不同时序建模架构在关节轨迹预测中的表现，为机器人操作领域的方法论演进提供了实证支撑。