kunhsiang/eval_exp9_sc2var_grasp_the_large_box_20260527-172317

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kunhsiang/eval_exp9_sc2var_grasp_the_large_box_20260527-172317"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 1, "total_frames": 2142, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.top": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.gripper": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and is designed for robotics tasks. It contains one task and one episode, with a total of 2142 frames collected at 30 fps. The data is stored in parquet format, and videos are stored in MP4 format. The dataset features include robot actions and observations: actions are represented by 6 float values corresponding to joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); observations include state (also 6 joint positions) and images from three cameras (front, top, and gripper), each with a resolution of 480x640 and 3 color channels. The robot type is so_follower. The dataset is intended for training and evaluating robot control models, focusing on tasks such as grasping large boxes.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向机器人操作技能的学习与评估。构建过程以so_follower机械臂为执行平台，通过遥操作或预设策略采集单一任务回合下的多模态数据，涵盖肩部、肘部、腕部及夹爪等六个关节位置的动作与状态序列，并同步记录前视、俯视及夹爪三个视角的视频流。全部数据以30帧每秒的频率采样，经分块整理后存储为Parquet格式，视频以AV1编码保存，形成结构化的训练用数据集合。

使用方法

使用者可借助LeRobot提供的可视化工具在线浏览该数据集，直观检视视频帧与关节状态的对应关系。在训练环节，可通过解析meta/info.json中的特征定义，按data_path和video_path模板加载Parquet数据文件与对应视频，提取observation.images及observation.state作为策略输入，action作为监督信号。数据集按单个回合划分，适用于行为克隆或离线强化学习等范式的快速验证与算法对比。

背景与挑战

背景概述

伴随具身智能与灵巧操作研究的纵深推进，机器人抓取大尺寸物体的策略学习成为检验感知与运动协调能力的关键场景。该数据集由LeRobot框架构建，记录so_follower机械臂在单次任务中执行抓取大型箱体的完整过程，涵盖2142帧、30fps的多视角视频与关节状态数据。其核心研究问题在于如何从高维视觉与本体感觉输入中习得稳定且泛化的抓取行为，对机器人学习领域的模仿学习与视觉-运动策略研究具有基准性参考价值，虽创建者与发表信息尚待补全，但已为后续大规模多任务数据集的设计提供了可复用的数据组织范式。

当前挑战

该数据集所应对的领域问题在于大尺寸物体抓取中视觉遮挡严重、接触动力学复杂且抓取位姿容错空间狭窄，传统方法难以在单次演示下生成鲁棒策略。构建过程中同样面临多重挑战：真实机器人执行单次任务意味着数据多样性有限，难以支撑策略的泛化验证；多视角视频与关节状态的时空对齐需保证帧级同步精度；大箱体抓取场景对末端执行器行程与力控要求苛刻，易出现滑移或碰撞，导致有效演示的获取成本高昂。上述因素共同构成该数据集在规模、覆盖度与可迁移性方面的内在局限。

常用场景

经典使用场景

在机器人学习领域，尤其是视觉引导的抓取操作中，该数据集作为LeRobot框架下的典型示范，经典使用场景聚焦于基于多视角视觉观测的大型物体抓取任务。数据集通过前置、顶部及夹爪三个摄像头捕捉环境信息，结合六自由度机械臂的位置与动作序列，为模仿学习与视觉运动策略训练提供了标准化输入。研究者常利用其高帧率视频与同步状态数据，构建端到端的抓取策略，验证模型在复杂空间布局下对大型箱体的精准操控能力。

解决学术问题

该数据集直面机器人抓取研究中的核心难题，即如何在高维视觉输入与低维动作输出之间建立有效映射，特别是在目标物体尺寸较大、抓取点选择受限的场景下。它缓解了真实世界抓取数据稀缺与标注困难的问题，为算法提供了可复现的基准。其意义在于推动视觉伺服与模仿学习方法的融合，促使研究者探索多模态表征学习，进而提升策略的泛化性与鲁棒性，对机器人操作领域的基础研究具有支撑作用。

实际应用

在工业与物流自动化中，大型箱体的抓取与搬运是常见且具有挑战性的任务。该数据集所记录的真实机械臂操作轨迹与多视角视觉流，可直接用于训练仓储机器人或分拣系统，使其能够在非结构化环境中识别并抓取大型目标。通过模仿学习，机器人可习得类人的抓取姿态调整策略，减少对精确物体模型的依赖。其实际价值体现在降低编程复杂度、加速部署流程，并为柔性制造中的物料处理提供数据驱动的解决方案。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，大规模抓取任务的数据集构建与策略泛化正成为前沿焦点。该数据集基于LeRobot框架，以SO follower机械臂执行“抓取大型箱体”任务，涵盖前视、顶视及夹爪三路视觉观测与六维关节动作序列，为视觉-动作联合建模提供了细粒度时序样本。当前研究倾向于利用此类高质量真实操作数据，探索视觉语言模型与扩散策略的融合，以提升非结构化环境下大尺寸物体的抓取鲁棒性。其意义在于为少样本迁移、多模态表征学习及真实机器人基准评测提供可复用的标准化数据基础，推动具身智能从仿真走向现实部署。