kunhsiang/eval_exp9_sc1var_grasp_the_green_box_20260528-171846

该数据集是一个机器人学数据集，使用LeRobot框架创建。数据集包含一个完整的任务episode，总共有2373帧数据，采样频率为30fps。数据集中记录了so_follower类型机器人的操作信息，包括动作数据（6个关节位置：肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）和状态观测（相同的6个关节位置）。此外，提供了多视角的图像观测：前视摄像头、顶部摄像头和夹爪摄像头，每个视频的分辨率为480x640，3通道RGB格式，使用av1编解码器。数据集还包含时间戳、帧索引、episode索引等元数据。数据以parquet文件格式存储，总数据文件大小约为100MB，视频文件大小约为200MB。--- 许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：默认 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=kunhsiang/eval_exp9_sc1var_grasp_the_green_box_20260528-171846"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "so_follower", "总回合数": 1, "总帧数": 2373, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:1" }, "数据路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "特征": { "动作": { "数据类型": "float32", "维度名称": [ "肩偏航关节位置", "肩升降关节位置", "肘屈伸关节位置", "腕屈伸关节位置", "腕滚转关节位置", "夹爪位置" ], "形状": [ 6 ] }, "观测.状态": { "数据类型": "float32", "维度名称": [ "肩偏航关节位置", "肩升降关节位置", "肘屈伸关节位置", "腕屈伸关节位置", "腕滚转关节位置", "夹爪位置" ], "形状": [ 6 ] }, "观测.图像.前视摄像头": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否含音频": false } }, "观测.图像.顶视摄像头": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否含音频": false } }, "观测.图像.夹爪摄像头": { "数据类型": "视频", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "数据索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null } } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集是专为机械臂抓取任务设计的机器人操作数据集，基于LeRobot框架构建，记录了单次完整操作流程中的2373帧时序数据。数据集通过so_follower型机器人执行抓取绿色方块的任务，采集了关节角度与执行器状态信息，并同步记录了从前、顶、夹爪三个视角采集的640×480像素彩色视频流，所有传感器数据均以30帧/秒的采样率同步记录，并以parquet格式高效存储。

使用方法

使用该数据集时，可通过LeRobot框架的dataset加载接口直接读取，其默认配置将全部数据作为训练集。研究者可访问HuggingFace提供的可视化界面对单个操作轨迹进行逐帧观察，或在meta/info.json中获取完整的数据结构与任务描述。数据集兼容Apache-2.0协议，适合于机器人操作技能的迁移学习研究，特别是在基于视觉的模仿学习任务中发挥价值。

背景与挑战

背景概述

该数据集由Hugging Face LeRobot社区于2026年5月创建，旨在服务于机器人操作任务的学习与评估。数据集以“抓取绿色盒子”为核心场景，依托开源机器人平台so_follower，采集了单次演示操作（共1个episode、2373帧）的多模态数据，包括6维关节状态（肩部、肘部、腕部及夹爪位置）以及前、顶、夹爪三视角的同步视频（30fps，AV1编码）。其研究问题聚焦于视觉-运动联合表征下的机器人精细操控能力，为模仿学习、示教学习等范式提供了高质量的单任务示范样本。作为LeRobot生态的一部分，该数据集推动了低成本机器人数据标准化与共享，对可复现的机器人学习研究具有示范意义。

当前挑战

当前数据集面临的核心挑战在于领域问题的复杂性：机器人抓取任务要求在非结构化环境中实现对目标物体的精准识别、姿态估计与柔性操控，尤其当目标物体（如绿色盒子）处于动态光照或遮挡条件下时，视觉感知与运动控制之间的协同极具难度。构建过程方面，数据仅包含单次演示、单任务参数，缺乏对场景变量（如盒子位置、背景颜色、光照条件）的系统覆盖，导致模型泛化能力受限。此外，高帧率视频与关节状态的时间同步精度、数据标注的一致性与一致性校验，均为构建高保真机器人数据集的关键技术瓶颈。

常用场景

经典使用场景

在机器人学习领域，该数据集聚焦于单变量场景下的精准抓取任务——抓取绿色盒子。其经典用途在于为模仿学习算法提供高质量的专家演示数据，包含6自由度关节位置动作、顶部、前端及夹爪多视角视觉观测，以及完整的时序信息。研究者可基于此训练机器人从视觉输入到动作输出的端到端策略，尤其适合验证行为克隆、逆强化学习等算法在简单抓取任务上的复现能力与鲁棒性。

解决学术问题

该数据集直面机器人操作中“少样本模仿学习”与“动作序列泛化”两大核心难题。通过提供单一对象、明确目标（绿色盒子）的标准化轨迹，它帮助研究者剥离场景复杂性，专注探究策略网络是否能够从有限演示中提取抓取关键特征，如夹爪接近角度与闭合时机。其意义在于为对比不同算法在低数据量下的学习效率与迁移性能提供可靠基准，推进对机器人从模仿到自主决策机制的深入理解。

实际应用

实际应用中，该数据集可赋能工业与家庭服务机器人的快速部署。例如，在仓储分拣场景，机器人可借助此类数据学习如何稳定抓取特定颜色与尺寸的货品；在家庭辅助领域，它能帮助机器人掌握从桌面拾取指定物品的动作基元。数据集结构兼容LeRobot框架，便于开发者利用仿真环境或真实硬件进行迁移学习，降低从数据采集到实际部署的工程成本。

数据集最近研究

最新研究方向

该数据集围绕机器人灵巧操作中的精细抓取任务展开，聚焦于在可控变量环境下对特定目标物体（如绿色盒子）的稳定抓取策略研究。结合LeRobot框架与多视角视觉输入（前视、顶视、夹爪视角），为模仿学习与强化学习提供了高维度观测与动作空间，支撑了从示教到自主执行的任务泛化能力探索。当前前沿方向包括基于视觉-运动联合表征的零样本迁移、低样本高效模仿学习，以及机器人操作中因果推理与物理交互规律的学习。该数据集通过结构化存储动作序列与状态信息，为构建可复现的机器人操作基准与跨场景技能迁移研究奠定了数据基础。