kunhsiang/eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-160348

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kunhsiang/eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-160348"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 1, "total_frames": 2398, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.gripper": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset, named eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-160348, is a robotics dataset designed for evaluating the performance of the so_follower robot in a task involving grasping a box outside a plate in experiment 9. It contains 1 total episode, 2398 frames, and 1 task, with data stored in parquet files and video files in mp4 format at 30fps. Features include action (6 float32 values representing robot joint positions such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper position), observation state (6 float32 values for the same joint positions), three image observations (front, top, and gripper views, each as 480x640x3 resolution videos), along with metadata like timestamp, frame index, episode index, index, and task index. The dataset is suitable for robotics learning and control tasks, created using the LeRobot framework.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向机器人精细操作场景下的抓取任务。数据采集以so_follower机器人本体为平台，通过遥操作或预设策略驱动机械臂执行“将盒体从盘外抓取”这一指定任务，同步记录六自由度关节位置、夹爪开度等多模态状态量，并以30帧每秒的采样频率捕获前视、俯视及夹爪三个视角的视觉流。原始轨迹经LeRobot标准化流程封装，生成符合v3.0代码库规范的Parquet数据文件与AV1编码视频，最终汇为单条完整演示回合，帧数达2398。

特点

数据集聚焦于机器人抓取操作中盘外目标的精准操控问题，以单一任务、单次演示的紧凑结构呈现。其核心特征在于多视角视觉信息的同步集成，三路视频流分别覆盖前向、顶部与夹爪特写，为策略学习提供了丰富的空间感知线索。状态与动作空间均为六维连续量，涵盖肩部、肘部、腕部及夹爪的关节位置，便于端到端模仿学习或强化学习算法直接消费。视频采用AV1编码，兼顾压缩效率与解码质量，配合parquet格式的元数据管理，整体结构清晰且易于解析。

使用方法

使用该数据集时，可借助HuggingFace平台提供的可视化空间在线检视轨迹与视频内容，直观理解任务执行过程。研究人员可通过LeRobot库加载数据，按需读取observation.state、action及各视角图像张量，用于训练视觉-动作策略网络。数据以训练集划分形式提供，所有轨迹均标注了帧索引、回合索引与任务索引，支持按时间步对齐多模态输入。在训练过程中，通常将图像序列与关节状态拼接为观测输入，以动作序列作为监督目标，进而实现从视觉感知到机械臂控制的映射学习。

背景与挑战

背景概述

具身智能与机器人操作领域长期致力于赋予机械臂在非结构化环境中完成精细抓取与放置任务的能力。该数据集由LeRobot框架构建，记录了so_follower机械臂执行“从盘子外抓取盒子”任务的单次操作轨迹，包含2398帧、30fps的视觉与本体状态数据，涵盖前视、俯视与夹爪三路视频流及六维关节位置与动作指令。其核心研究问题在于验证视觉-动作映射策略在特定空间约束下的泛化能力，为机器人模仿学习与端到端控制提供真实物理环境下的评估基准，对推动低成本开源机器人学习生态具有参考价值。

当前挑战

该数据集所面对的领域问题在于机器人需精确识别盒子位于盘子外部的空间关系，并规划无碰撞的抓取轨迹，这要求策略同时理解语义布局与几何约束。构建过程中的挑战体现为：单次成功演示难以覆盖抓取位姿的多样性，数据规模极为有限；三路视频与关节状态、动作指令的时序对齐需保持严格同步；真实机械臂的低速操作与视觉遮挡可能引入噪声。此外，如何从单一轨迹中提取可泛化的抓取策略，并评估其在未见场景下的鲁棒性，仍是亟待解决的关键难题。

常用场景

经典使用场景

在机器人学习与具身智能领域，该数据集依托LeRobot框架构建，呈现了SO跟随者机械臂执行“抓取盘子外部盒子”任务的全过程，涵盖前视、俯视与夹爪三个视角的视觉观测及六自由度关节位置与动作序列，总帧数达2398帧、30fps的时序分辨率为视觉-动作联合建模提供了经典示范。研究者通常将其用于模仿学习范式的算法验证，通过行为克隆从演示轨迹中习得抓取策略，并以多视角视觉输入评估策略对空间关系的感知能力，构成机器人操作学习中典型的端到端训练与评估样本。

解决学术问题

该数据集直击机器人操作研究中演示数据稀缺与多模态对齐困难的痛点，为视觉-动作映射的泛化性研究提供了精细标注的实操轨迹。其单任务、单回合的紧凑结构有助于隔离变量，聚焦于抓取姿态生成、末端执行器控制及遮挡条件下的目标定位等核心问题，从而缓解了在复杂场景中难以区分感知误差与策略误差的学术困境。通过提供统一的LeRobot格式与明确的分割协议，该数据集降低了不同算法间公平比较的门槛，对推动可复现的机器人学习研究具有实证意义。

衍生相关工作

以该数据集为代表的LeRobot生态催生了一系列围绕模仿学习与视觉-语言-动作模型的相关工作，研究者基于其格式开发了多种行为克隆基线、扩散策略及Transformer架构的策略网络，并借助可视化工具进行轨迹回放与失败案例分析。该数据集亦被用于评测多视角融合策略与单视角策略的性能差异，推动了对视角选择与特征对齐机制的深入探讨。后续工作常将其作为小样本基准，与更大规模的开源机器人数据集进行联合训练或迁移学习，以检验策略在跨任务与跨本体条件下的适应能力。