kunhsiang/eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-124753

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kunhsiang/eval_exp9_sc3var_grasp_the_box_outside_the_plate_20260527-124753"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 1, "total_frames": 2208, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.gripper": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is an evaluation dataset for robotics learning, specifically for the task of grasp the box outside the plate, created on May 27, 2026. It was generated using the LeRobot framework and contains a single episode with a total of 2208 frames at 30fps. The robot type is so_follower, and the data features include actions (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (joint positions and images from three camera views: front, top, and gripper, each with a resolution of 480x640 and 3-channel color video), as well as metadata like timestamps, frame indices, and episode indices. The data is stored in Parquet format, with videos in MP4 format, suitable for robotics control, visual navigation, and reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据集的构建通常依托标准化采集框架。该数据集由LeRobot工具链生成，采用so_follower机器人本体，通过遥操作或预设控制策略执行「抓取盘子外部的盒子」这一单一任务。采集过程中，系统以30Hz频率同步记录六自由度关节位置与三路视觉观测，涵盖前视、顶视及夹爪视角，最终汇聚为1个回合、2208帧的完整序列。数据以Parquet格式按块存储，视频流则编码为AV1格式，形成时间对齐的多模态机器人操作记录。

特点

该数据集聚焦于机器人抓取任务的视觉-动作映射学习。其核心特征在于多视角同步观测与本体状态的高频记录：三路视频流（前视、顶视、夹爪）以640×480分辨率提供空间互补信息，六维动作向量与关节状态则精确刻画机械臂的位姿变化。数据集仅包含单一任务与单个回合，帧率达30fps，适合验证算法在细粒度操作场景下的过拟合与泛化能力。所有视频均去除音频，采用高效AV1编码，兼顾存储效率与视觉质量。

使用方法

该数据集可经由LeRobot生态直接加载。用户可访问HuggingFace空间中的可视化工具，在线浏览演示过程；训练时，通过配置文件读取data目录下的Parquet文件获取状态与动作序列，同时从videos路径提取对应视频帧。数据划分以train字段指定，索引从0至1。研究人员可将其用于模仿学习、视觉运动策略训练等任务，借助预设的特征字段（如observation.images.front）构建端到端的感知与控制模型。

背景与挑战

背景概述

机器人操作领域长期致力于赋予机械臂在非结构化环境中完成精细抓取与放置任务的能力，其中基于视觉的端到端学习范式近年来备受关注。该数据集由LeRobot框架构建，面向SO-100系列跟随臂，记录了一项将目标物体从盘子外部抓取并放置的操控任务。数据集采集于2026年，包含1个回合、2208帧、30Hz同步的三路视觉观测与六维关节位置及动作序列，为视觉-动作映射研究提供了细粒度时序样本。其核心价值在于以真实硬件平台验证复杂空间关系下的抓取策略，对推动灵巧操作与模仿学习在真实场景中的落地具有参考意义。

当前挑战

该数据集所应对的领域问题在于机器人在杂乱或受限空间中对目标物体的精准定位与抓取，尤其是当物体位于容器外部时，视觉遮挡、光照变化与物体位姿不确定性均构成显著挑战。构建过程中，需保证三路摄像头同步采集的时空对齐精度，维持30Hz高频动作记录的稳定性，并处理真实机械臂运动中的噪声与延迟。此外，单回合数据在多样性上的局限可能导致策略泛化能力不足，如何从有限演示中提取鲁棒的抓取表征仍是待解难题。

常用场景

经典使用场景

在机器人学习领域，尤其是视觉-语言-动作（VLA）模型与模仿学习的训练流程中，该数据集展现了典型且关键的应用场景。其核心使用方式为：以单条包含2208帧、30帧每秒的演示轨迹为基础，结合前视、顶视以及夹爪三个视角的视觉观测与同步的六自由度关节位置及夹爪开合动作序列，构建端到端的策略学习任务。研究人员通常将此类数据用于训练机械臂在非结构化环境中的抓取操作，特别是当目标物体位于托盘外部时，需要模型具备精准的空间泛化与视觉定位能力，从而完成从感知到动作的闭环控制。

实际应用

在实际应用层面，该数据集所承载的抓取托盘外部物体的任务直接映射到工业分拣、物流仓储以及服务机器人等场景中的常见需求。例如，在自动化流水线上，机械臂需要将散落于容器边缘或工作台外围的零件准确拾取并归位；在家庭服务环境中，机器人需从桌面或货架外侧抓取指定物品。数据集中的多视角视觉信号与关节运动轨迹可用于训练和验证机械臂在复杂背景与光照变化下的鲁棒操作策略，进而降低对精确环境建模与人工示教的依赖，提升系统在真实非结构化环境中的自主作业能力。

衍生相关工作

该数据集作为LeRobot生态系统下的标准化产物，自然衍生出一系列与数据格式、训练流程及评估方法相关的工作。一方面，其采用的v3.0代码库版本与Parquet数据组织方式促进了社区在数据集互操作与可视化工具开发方面的协同，例如基于HuggingFace Spaces的在线可视化应用；另一方面，单轨迹、多视角、小样本的特性使其成为测试新型模仿学习算法（如扩散策略、动作分块Transformer等）的理想试金石，后续工作可能围绕数据增强、跨任务迁移以及策略泛化性基准构建展开，逐步丰富机器人操作领域的数据驱动研究范式。