cieclr/cube_grb

该数据集是使用LeRobot创建的机器人数据集，专门用于机器人学习任务。数据集基于so101_follower机器人类型，包含20个完整的情节（episodes），总计17739帧数据，帧率为30fps。所有数据仅划分为训练集（索引0到20）。数据集以分块形式存储，每个数据块大小约为1000帧，总数据文件大小为100MB，视频文件大小为500MB。主要特征包括：1）动作（action）：6维浮点向量，表示机器人六个关节（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置；2）观测状态（observation.state）：与动作相同的6维关节位置状态；3）图像观测：包括前视摄像头（observation.images.front）和腕部摄像头（observation.images.wrist）的RGB视频，分辨率均为480x640，3通道，使用av1编码，无音频；4）元数据：时间戳、帧索引、情节索引、全局索引和任务索引。数据存储格式为parquet文件（数据）和mp4文件（视频），路径模式分别为data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet和videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。该数据集适用于机器人控制、模仿学习或强化学习等研究。--- 许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：default 数据文件路径：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集说明 - **项目主页：** [待补充更多信息] - **相关论文：** [待补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 `meta/info.json` 文件内容如下： json { "代码库版本": "v3.0", "机器人型号": "so101_follower", "总回合数": 20, "总帧数": 17739, "总任务数": 1, "分块大小": 1000, "数据文件总大小（单位：MB）": 100, "视频文件总大小（单位：MB）": 500, "帧率": 30, "数据集划分": { "训练集": "0:20" }, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作": { "数据类型": "float32", "维度名称": [ "肩关节方位旋转轴位置", "肩关节俯仰抬升轴位置", "肘关节屈曲轴位置", "腕关节屈曲轴位置", "腕关节滚转轴位置", "夹爪位置" ], "特征形状": [6] }, "观测状态": { "数据类型": "float32", "维度名称": [ "肩关节方位旋转轴位置", "肩关节俯仰抬升轴位置", "肘关节屈曲轴位置", "腕关节屈曲轴位置", "腕关节滚转轴位置", "夹爪位置" ], "特征形状": [6] }, "前方观测图像": { "数据类型": "视频", "特征形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "附加信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "腕部观测图像": { "数据类型": "视频", "特征形状": [480, 640, 3], "维度名称": ["高度", "宽度", "通道数"], "附加信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32", "特征形状": [1], "维度名称": null }, "帧索引": { "数据类型": "int64", "特征形状": [1], "维度名称": null }, "回合索引": { "数据类型": "int64", "特征形状": [1], "维度名称": null }, "全局索引": { "数据类型": "int64", "特征形状": [1], "维度名称": null }, "任务索引": { "数据类型": "int64", "特征形状": [1], "维度名称": null } } } ## 引用信息 **BibTeX格式引用：** bibtex [待补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是驱动策略泛化能力提升的关键。cube_grb数据集基于LeRobot框架构建，以SO-101Follower型机器人为载体，通过遥操作或示教方式采集了20个完整演示片段，总计17739帧数据，涵盖单一任务。数据以Parquet格式存储于分块文件中，每块容纳1000帧，方便流式加载。视觉模态包括640×480分辨率的前置与腕部摄像头视频流，采用AV1编码以平衡画质与存储效率。状态与动作空间统一为6维关节向量，覆盖肩部、肘部、腕部及夹爪位置，确保了指令与控制信号在空间上的一致性。

特点

该数据集的核心价值体现在其对机器人模仿学习研究的精准适配性。30帧每秒的采样率兼顾了时间分辨率与计算负载，适用于高频控制任务。专用训练集划分（0至19号片段）便于复现基准结果，无需手动拆分。标准化特征命名（如observation.state）与LeRobot库深度集成，免去了数据预处理步骤。视频与状态数据在时间戳上严格对齐，隐式强化了多模态时序同步。尽管仅包含单一任务，但其模块化结构支持快速扩展至多任务场景。

使用方法

借助LeRobot框架，用户可高效调用该数据集。通过pandas或PyArrow读取Parquet文件获取动作与状态序列，而视频数据则借助CV2或Decord库按映射路径解码。训练时，数据集支持滑窗采样与分块加载，适配长短时记忆网络或扩散策略模型。典型流程包括：加载元信息、按片段索引对齐视觉与关节序列、归一化动作空间后构建数据集管道。推荐在PyTorch环境下使用DataLoader封装，以利用多进程异步预读优势。验证阶段可直接按官方训练集拆分进行测试，确保公平对比。

背景与挑战

背景概述

随着机器人学习领域的蓬勃发展，从人类演示中学习复杂操作技能成为实现通用机器人智能的关键途径之一。cube_grb数据集正是为应对这一趋势而生，由LeRobot社区在近期构建并发布，旨在为机械臂操控任务提供标准化的多模态训练资源。该数据集聚焦于so101_follower机械臂的6自由度关节控制与夹爪操作，记录了20个回合、总计17739帧的高频演示数据，涵盖前端与腕部双视角视频影像及对应的关节状态与动作序列。通过开源协议Apache-2.0发布，该数据集有望推动模仿学习、行为克隆等算法的研究与评估，为操作技能迁移提供可复现的基线，在机器人学与计算机视觉的交叉领域产生深远影响。

当前挑战

cube_grb数据集旨在解决的领域核心挑战是机器人从演示中自主习得精细操控技能，尤其是在高维度状态空间与低延迟反馈条件下的泛化难题。当前，机器人学习面临着样本效率低下与跨场景迁移性差的双重瓶颈，该数据集以20个回合的有限规模考验算法的数据利用率与鲁棒性。在构建过程中，挑战集中于多源异构数据的高保真同步采集：需协同30帧每秒的视频流与6维关节指令，并克服不同传感器采样频率差异及噪声干扰。此外，数据标注与动作空间标准化、视频编码格式选型（如AV1）对存储与处理效率的影响，以及确保演示动作与观察状态的时间一致性，均是构建高质量演示数据集时必须攻克的工程难关。

常用场景

经典使用场景

在机器人学习与操控领域，cube_grb数据集以其专注于单一任务的高质量演示数据而著称，尤其适用于模仿学习算法的训练与评估。该数据集包含20个完整回合、近1.8万帧的高频动作与状态序列，并同步采集了前视与腕部两个视角的视觉图像，为机器人学习从观察到动作的精准映射提供了理想的数据基础。研究者常利用此数据集训练端到端的行为克隆模型，或结合视觉运动策略进行精细化操作任务的泛化能力测试。

衍生相关工作

该数据集的涌现催生了一系列关于少样本模仿学习与多视角融合策略的衍生研究。基于其标准化的演示数据，学界陆续提出了新型的扩散策略方法、基于Transformer的序列建模框架以及视觉触觉统一表示学习范式。这些工作不仅深化了对机器人操控意图的理解，还促进了LeRobot生态下跨数据集基准的构建，加速了通用操作技能从实验室向实际应用场景的迁移进程。

数据集最近研究

最新研究方向

在机器人操作与模仿学习的前沿领域中，cube_grb数据集的出现为基于视觉运动策略的细粒度操控研究提供了关键支撑。该数据集聚焦于so101_follower型机器人手臂的六自由度关节动作（包括肩部、肘部、腕部及夹爪），以30帧/秒的高频采集同步的机器人状态与多视角视觉数据（前视与腕部摄像头），并提供了20条高质量演示轨迹。这一数据特征使其成为研究行为克隆、逆强化学习以及端到端策略从示范中泛化的理想基准，尤其适合探索在有限样本条件下如何利用多模态观测（图像与关节状态）实现精准的物体抓取与操作任务。伴随着机器人领域的‘基础模型’与‘数据驱动’范式兴起，cube_grb凭借其紧凑的结构（约100MB的parquet数据与500MB的视频流）和开源许可，正被广泛用于复现与验证最新的模仿学习算法，并推动了从实验室演示到真实场景部署的迁移研究。