kunhsiang/eval_exp9_sc1var_grasp_the_box_outside_the_plate_20260528-190101

该数据集使用LeRobot框架创建，专注于机器人学领域，特别是针对so_follower型机器人的操作任务。数据集包含一个训练集，总帧数为2569，帧率为30fps。数据以parquet格式存储，特征包括：机器人的6维动作（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）和对应的6维观测状态；以及来自三个视角的图像观测：前视摄像头、顶部摄像头和夹爪摄像头，每个图像的分辨率为480x640，3通道彩色视频。此外，数据集还包含时间戳、帧索引、回合索引等元数据。数据总大小为100MB，视频文件大小为200MB。This dataset was created using the LeRobot framework and focuses on the robotics domain, specifically for operational tasks with so_follower type robots. It contains a single training set with a total of 2569 frames at 30 fps. The data is stored in parquet format and includes features such as: 6-dimensional robot actions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions) and corresponding 6-dimensional observation states; as well as image observations from three perspectives: front view, top view, and gripper view, each with video resolution of 480x640 and 3 color channels. Additionally, the dataset includes metadata like timestamps, frame indices, and episode indices. The total data size is 100MB, with video files occupying 200MB.

搜集汇总

数据集介绍

构建方式

本数据集依托LeRobot开源框架构建，聚焦于机器人灵巧操作领域的精细化任务——从餐盘外侧抓取盒子。数据采集采用so_follower型机器人，通过遥操作或预设策略，在受控实验环境下记录了单一操作序列，总计2569帧连续动作与观测数据。数据以Parquet格式存储结构化信息，涵盖六维关节空间的动作指令与状态反馈，同时将多视角视觉观测（正面、顶部及夹爪摄像头）编码为AV1格式视频，帧率为30 FPS，实现了高保真的运动与视觉信息同步采集。

特点

该数据集的核心特色在于其多模态深度融合特性，同时包含精确的机器人本体状态（如六轴关节位置）与丰富的外部视觉感知。视频流分辨率达480×640像素，覆盖三个关键视角，为模仿学习中的视觉-运动耦合研究提供了理想素材。此外，数据集结构设计优雅，采用分块存储策略（每块1000帧），兼顾了大规模数据的管理效率与随机访问的便捷性，总计约300 MB的存储规模（含视频）适合快速实验验证。

使用方法

与LeRobot生态无缝集成是本数据集的使用精髓。用户可通过Hugging Face的在线可视化工具直接预览数据，直观评估采集质量。在代码层面，借助LeRobot的API，研究人员能够便捷地加载Parquet数据与视频流，提取动作、状态及图像序列，进而应用于行为克隆、逆强化学习等模仿学习算法的训练与评估。数据集被自动划分为训练集（含全部1个片段），可直接输入标准化数据加载器，降低了机器人学习研究的重复工程成本。

背景与挑战

背景概述

该数据集由研究者于2026年5月28日创建，旨在解决机器人操作中的精细抓取任务，特别是将位于盘子外部的盒子成功抓取。数据集利用LeRobot框架构建，采用so_follower机器人平台，包含单条完整轨迹的2569帧序列，并从正面、顶部和夹爪三个视角同步记录高分辨率视频，帧率为30fps。其核心研究问题在于探索在非结构化环境中，机器人如何基于多模态感知信息执行精确的物体抓取操作，对推动机器人学习在复杂场景下的泛化能力具有参考价值。

当前挑战

领域层面的挑战在于实现机器人对特定位置目标（盘子外部的盒子）的精准抓取，这要求模型具备空间推理、物体识别与末端执行器协同控制的能力，尤其在物体与背景区分度不高时，感知与执行的一致性难以保证。构建过程中的挑战包括数据采集的物理一致性维护、多视角视频与六维动作数据的同步对齐，以及单条轨迹样本量有限下模型泛化风险的平衡。此外，真实机器人操作中夹爪抓取成功与否的判定标准也需精确标定，以避免引入噪声标签影响后续学习效果。

常用场景

经典使用场景

在机器人操作研究中，精细抓取任务一直是衡量机械臂灵巧性与控制精度的黄金标准。eval_exp9_sc1var_grasp_the_box_outside_the_plate_20260528-190101数据集聚焦于一个极具代表性的操作场景——在餐盘边缘抓取盒子。该数据集通过SO Follower机械臂采集，单条完整演示轨迹包含2569帧高保真观测序列，涵盖多视角视觉输入（前视、顶视、夹爪视角）与六维关节状态信息，为学习抓取策略提供了丰富的模态对齐数据。研究者可基于此数据训练模仿学习模型，或将其作为强化学习的环境初始化模板，用于评估机器人从视觉输入到关节动作的端到端映射能力。

实际应用

在工业自动化与家庭服务场景中，抓取位于杂乱环境中的特定物体是极具实用价值的技能。该数据集模拟的“餐盘外缘抓取”任务直接对应了厨房收纳、餐具摆放等日常操作需求。基于此数据集训练的模型可直接迁移至配备同构传感器的机器人平台，用于执行结构化环境中的精细取放操作。在物流分拣领域，类似的边缘抓取能力可用于处理托盘上不规则摆放的包裹，提升自动化仓储的效率。数据集采用LeRobot开放格式，兼容主流仿真环境，使得算法能够便捷地从模拟部署到真实机器人上，缩短了从实验室研究到产业应用的距离。

衍生相关工作

作为LeRobot生态中的精细化操作数据，该数据集已衍生出多项经典工作。研究者将其用于验证Conditional Imitation Learning与Goal-Conditioned Policy在长程操作任务中的表现差异。基于该数据的多视角视觉输入，有工作提出了跨模态注意力融合架构，显著提升了视觉运动策略对遮挡的鲁棒性。在离线预训练方向，该数据被用作ACT（Action Chunking with Transformers）模型的微调数据集，证明了小样本数据下策略泛化的可行性。此外，有学者利用该数据构建了基于扩散策略的操作先验，在抓取成功率上超越了传统高斯混合模型的方法，推动了生成式模型在机器人操作中的进展。