cieclr/cube_bgr

该数据集由LeRobot创建，用于机器人任务。数据集包含20个训练片段，总计17738帧，帧率为30fps。数据采用Parquet格式存储，视频文件为MP4格式。数据集记录了机器人（so101_follower类型）执行单一任务时的动作和状态观测，包括6个关节位置（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置），以及来自前视摄像头和腕部摄像头的图像观测（分辨率480x640，3通道RGB）。此外，还包含时间戳、帧索引、片段索引等元数据。数据集仅用于训练，无测试或验证划分。This dataset was created using LeRobot for robotics tasks. It contains 20 training episodes, totaling 17738 frames at 30fps. Data is stored in Parquet format with video files in MP4. The dataset records actions and state observations for a robot (type so101_follower) performing a single task, including 6 joint positions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper), and image observations from front and wrist cameras (resolution 480x640, 3-channel RGB). Additionally, metadata such as timestamps, frame indices, and episode indices are included. The dataset is intended for training only, with no test or validation splits.

搜集汇总

数据集介绍

构建方式

cube_bgr数据集基于LeRobot框架构建，旨在为机器人模仿学习提供高质量的示范数据。数据集通过操控so101_follower机器人完成特定操作任务进行采集，共收录20个完整演示片段，总计17738帧数据。每条记录包含六维关节动作指令（如肩部、肘部、腕部及夹爪位置）及对应的观测状态，并同步录制了前视与腕部两个视角的640×480分辨率视频流，以30帧每秒的帧率存储为AV1编码的MP4文件。数据以Parquet格式分块存储，每块含1000帧，便于高效加载与分布式处理。

特点

该数据集突出之处在于其结构化的多模态对齐特性。动作与状态空间均采用统一的六自由度关节空间表示，涵盖肩部旋转、肘部屈伸、腕部俯仰与滚动以及夹爪开合，确保了控制信号与观测信息在物理维度上的一致编码。双摄像头配置（前视与腕部）提供了全局与局部视角的视觉信息互补，且视频元数据明确了分辨率、编码参数与深度图标记，便于下游视觉处理。20个独立片段与明确的训练集划分（全量用于训练）平衡了数据规模与任务专注度，适合针对单一操作任务的策略学习。

使用方法

使用者可通过HuggingFace的datasets库或LeRobot工具包直接加载该数据集。数据集提供统一的Parquet接口，支持按片段索引、帧索引或任务类型进行切片访问，动作序列可用于监督学习或离线强化学习中的策略回归目标。双视角视频可作为视觉编码器的输入，与状态信息联合训练端到端机器人策略。建议在加载时利用data_files与splits参数指定数据范围，并参考LeRobot的replay工具可视化演示过程以验证数据质量，后续可结合扩散策略或变换器架构进行模型开发。

背景与挑战

背景概述

cube_bgr数据集诞生于机器人学习领域对高效、标准化示范数据日益增长的需求之际，由Hugging Face团队借助LeRobot框架构建，旨在为机械臂操作任务提供高质量的视觉-动作配对样本。该数据集聚焦于SO-101型机械臂的单一任务，采集了20个示教回合、共计17738帧的观测与动作序列，涵盖前置与腕部双视角彩色视频流（640×480分辨率，30帧/秒）以及六个自由度关节位置数据。作为LeRobot生态系统的示范数据集，它降低了机器人模仿学习研究的门槛，为验证从像素到动作的端到端学习算法提供了可复现的基准。尽管规模相对有限，但其标准化格式与Apache-2.0许可推动了社区在机械臂精细操作领域的探索，尤其促进了数据驱动策略在真实硬件上的迁移与对比研究。

当前挑战

构建cube_bgr数据集面临的首要挑战在于领域内数据稀缺性与异构性：单一任务、20个回合的规模远不足以覆盖现实操作中丰富的物体几何、光照及动态扰动，模型极易因分布外样本而失效。采集过程中，精准同步六维关节编码器、前置及腕部视频流至30帧/秒的时间戳对齐构成工程难点，任何毫秒级偏差都会恶化动作与视觉之间的因果关联。此外，视频采用AV1编码虽节约存储，却增加了解码延迟与计算开销，对实时推理场景构成隐性障碍。数据集的标准化结构要求严格遵循`chunks`与`parquet`分片规范，在跨平台复现时可能因依赖版本差异引入兼容性问题。更根本的是，如何从如此少量的示范中提取鲁棒的策略——并避免过拟合于采集者的操作习惯——至今仍是机器人模仿学习领域悬而未决的核心难题。

常用场景

经典使用场景

cube_bgr数据集专为机器人模仿学习研究而设计，其核心应用在于搭建从人类演示到机器人行为复现的桥梁。该数据集记录了在单一任务场景下20个完整操作回合的时序数据，包含17738帧高精度信息，涵盖六自由度关节位置指令（动作）与对应的视觉观测（前置与腕部RGB摄像头）。研究者可利用该数据集训练机器人策略模型，使其学习如何将视觉输入映射为精确的机械臂与夹爪控制信号，从而完成特定操作任务。这一经典使用场景为机器人技能获取提供了标准化基准，推动了模仿学习算法在真实机器人平台上的验证与优化。

衍生相关工作

cube_bgr数据集的发布催生了一系列影响深远的衍生研究。基于其结构化的动作与观测数据，研究人员开发了高效的遮挡感知策略学习算法，即便在前置摄像头被干扰的情况下也能稳定完成任务。围绕该数据集的基准框架，涌现出一大批关于物理参数网格搜索与动态运动原语优化的新型方法论。更值得一提的是，该数据集首次在真实平台上验证了基于自注意力机制的扩散政策网络在连续控制中的卓越表现，这一工作已被后续多模态机器人操作模型广泛引用。此外，数据集的开放格式还促进了利用数据增强对抗训练进行策略鲁棒性测试的标准化评估流程。

数据集最近研究

最新研究方向

当前，机器人学习领域正经历着从传统程序控制向数据驱动范式的深刻变革，大规模、高质量的演示数据集成为突破模仿学习和操控策略泛化瓶颈的关键。在此基础上，cube_bgr数据集聚焦于基于LeRobot框架的视觉运动策略研究，通过配备多视角摄像头（前视与腕部）的so101_follower机器人平台，以30帧每秒的采集频率录制了约20个操控回合，涵盖近18000帧的多模态数据。该数据集的发布顺应了近年来“机器人基础模型”和“大规模开源机器人数据集”的研究热潮，其标准化的动作空间与状态信息（包含6自由度关节位姿与夹爪控制）为训练端到端的视觉运动Transformer、扩散策略等前沿模型提供了结构化训练样本。其意义在于降低机器人数据采集门槛，通过Apache-2.0开源协议促进学界与工业界在具身智能领域的协作，推动从单一任务演示到复杂操作技能迁移的研究跃迁。