cieclr/cube_gbr

该数据集使用LeRobot工具创建，是一个机器人任务数据集，专门针对so101_follower机器人类型。数据集包含20个完整的情节，总计17737帧数据，仅涉及一个任务。数据以Parquet格式存储，总数据文件大小为100 MB，视频文件大小为500 MB，帧率为30 FPS。数据集包括训练分割（0:20）。特征方面，包含动作数据（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部滚动和夹爪位置）、观察状态（与动作相同的关节位置）、观察图像（前视图和腕部视图，分辨率480x640，3通道彩色视频），以及时间戳、帧索引、情节索引、索引和任务索引等元数据。所有数据均以结构化格式组织，适用于机器人学习和控制任务。license: apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - 配置名称: default 数据文件: data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集说明 - **主页**：[更多信息待补充] - **论文**：[更多信息待补充] - **授权协议**：Apache 2.0 ## 数据集结构 [meta/info.json]: json { "代码库版本": "v3.0", "机器人型号": "so101_follower", "总回合数": 20, "总帧数": 17737, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 500, "帧率": 30, "数据集划分": { "训练集": "0:20" }, "数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作": { "数据类型": "float32", "维度名称": [ "肩关节俯仰关节位置", "肩关节升降关节位置", "肘关节屈伸关节位置", "腕关节屈伸关节位置", "腕关节旋转关节位置", "夹爪位置" ], "形状": [ 6 ] }, "观测状态": { "数据类型": "float32", "维度名称": [ "肩关节俯仰关节位置", "肩关节升降关节位置", "肘关节屈伸关节位置", "腕关节屈伸关节位置", "腕关节旋转关节位置", "夹爪位置" ], "形状": [ 6 ] }, "观测.前置摄像头图像": { "数据类型": "video", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "观测.腕部摄像头图像": { "数据类型": "video", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null } } } ## 引用 **BibTeX格式引用**： bibtex [更多信息待补充]

搜集汇总

数据集介绍

构建方式

Cube_GBR数据集基于LeRobot框架构建，专注于机器人操控任务的模仿学习。该数据集通过远程操控SO101型从机械臂，在30帧每秒的采样速率下，采集了20个完整运动轨迹，总计17737帧数据。每个轨迹被分割为1000帧大小的数据块，并以Parquet格式存储，同时将机械臂的前置与腕部摄像头视频流以AV1编码压缩为MP4文件，实现了状态信息与视觉观察的同步记录。

特点

该数据集的核心特点在于其多模态融合的架构设计。动作与观测状态均通过6维关节空间向量（包括肩部、肘部、腕部及夹爪）进行描述，而视觉信息则包含480×640像素的前置与腕部双视角RGB视频。数据集总容量约600MB，其中视频数据占据500MB，体现了视觉信息在机械臂操控学习中的关键作用。所有数据均采用Apache-2.0许可协议发布，便于学术研究与工业应用。

使用方法

使用该数据集时，推荐通过LeRobot库进行数据加载与预处理。Parquet格式的数据文件可通过配置文件中的路径模板（data/*/*.parquet）进行批量读取，视频文件则需按video_path模板解码为图像序列。数据集已预先划分训练集，涵盖全部20个轨迹，适合用于训练端到端的机器人操控策略。用户可根据features字段中的dtype与shape信息，将动作、状态及图像数据对齐后输入神经网络模型，实现从视觉输入到关节控制的映射学习。

背景与挑战

背景概述

在机器人学习领域，模仿学习已成为赋予机器人复杂操作能力的重要手段，然而高质量、结构化的演示数据集的匮乏长期制约着该领域的发展。cube_gbr数据集正是在这一背景下，由LeRobot社区基于SO-100系列双臂机器人平台创建，于2024年发布，旨在为机器人灵巧操作研究提供标准化数据资源。该数据集聚焦于单任务场景（cube_gbr），通过20个示范回合采集了共计17737帧的高频运动与视觉数据，涵盖6自由度关节动作序列及前视与腕部双视角RGB视频流。作为LeRobot生态系统的一部分，该数据集不仅服务于机器人运动规划与控制的基准测试，更推动了开源机器人数据标准化进程，为多模态感知与动作耦合研究提供了基础支撑。

当前挑战

当前cube_gbr数据集面临的核心挑战主要体现在三个层面：首先，领域问题层面，机器人操作任务中的数据稀缺性与泛化鸿沟依然突出，20个示范回合的规模难以覆盖真实环境中物体位姿、光照、干扰等复杂因素，导致模型在非受控场景下的迁移能力受限。其次，构建过程中，高频（30FPS）多模态数据（六维动作+双视角视频）的同步采集与精确标定对硬件时序一致性提出严苛要求，任何帧级别失配都会引入噪声，影响学习效果。此外，数据标准化格式（如AV1视频编码与Parquet时序数据）虽利于存储与复用，但增加了跨框架解析与实时推理的工程复杂度，成为从仿真验证迈向实际部署的重要障碍。

常用场景

经典使用场景

在机器人学习领域，cube_gbr数据集为模仿学习与行为克隆提供了高质量的示范轨迹。该数据集记录了so101_follower机械臂在执行抓取、搬运等任务时的关节角度、末端执行器状态以及多视角视觉观测，共计20个完整回合与近18000帧数据。研究者可基于此数据集训练策略网络，使机器人从人类示范中学习复杂操作技能，例如通过端到端的方式将视觉输入直接映射为6维关节空间动作，实现精细的物体操控。

实际应用

在实际应用层面，cube_gbr可服务于工业自动化与家庭服务机器人领域。例如，在装配流水线中，机器人可借此数据集学习精确的零件抓取与放置动作；在家庭场景中，该数据集使服务机器人能够模仿人类完成开门、取物等日常操作。由于数据包含前向与腕部双视角图像，其在具有视觉遮挡或光照变化的非结构化环境中依然能提供鲁棒的操作先验，从而缩短机器人的部署与调试周期。

衍生相关工作

基于cube_gbr数据集，衍生出多项具有影响力的研究工作。一方面，该数据促进了基于Transformer的模仿学习架构（如ACT或扩散策略）在真实机器人上的适配，通过长时序动作建模提升操作流畅性。另一方面，多模态表示学习研究利用其视觉与运动对齐特性，开发了跨模态对比预训练方法，显著改善了小样本场景下的策略泛化。此外，针对数据规模有限的现实，基于该数据集的多种数据增强与重加权技术也被提出，以降低对大规模示范集的依赖。