cube_v2_pi

该数据集是一个机器人操作数据集，使用LeRobot工具创建，专注于机器人双臂控制任务，适用于机器人学习和模仿学习研究。数据内容包括动作数据和观测数据：动作数据为12维浮点数向量，表示左右机械臂各6个关节（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置控制指令；观测数据分为状态观测（记录12个关节实际位置）和视觉观测（包含三个固定视角的视频流：左臂腕部视角、顶部俯视视角、右臂腕部视角，所有视频分辨率为1280x720，帧率30fps，采用AV1编码）。此外，数据集还包含时间戳、帧索引、回合索引、任务索引等元数据。数据集规模为151个完整回合（episodes），共计137,937帧数据，对应一项任务，以分块Parquet文件格式存储，并已划分为训练集。机器人平台类型为bi_so_follower（推测为双臂从动机器人），遵循Apache 2.0开源协议。This dataset is a robotic manipulation dataset created using the LeRobot tool, focusing on bimanual robot control tasks and suitable for robot learning and imitation learning research. The data includes action data and observation data: action data consists of a 12-dimensional floating-point vector representing position control commands for six joints each of the left and right robotic arms (shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, gripper); observation data is divided into state observations (recording the actual positions of the 12 joints) and visual observations (including three fixed-view video streams: left arm wrist view, top-down view, and right arm wrist view, all with a resolution of 1280x720, 30fps frame rate, and AV1 encoding). Additionally, the dataset contains metadata such as timestamps, frame indices, episode indices, and task indices. The dataset scale comprises 151 complete episodes, totaling 137,937 frames of data for one task, stored in chunked Parquet file format and partitioned into a training set. The robot platform type is bi_so_follower (presumed to be a bimanual follower robot), and it follows the Apache 2.0 open-source license.

原始信息汇总

数据集概述

• 名称: cube_v2_pi
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot

数据集描述

该数据集使用 LeRobot 创建，主要用于机器人相关任务。

数据集结构

• 代码库版本: v3.0
• 帧率 (FPS): 30
• 总片段数 (Episodes): 151
• 总帧数: 137,937
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 机器人类型: bi_so_follower
• 数据集划分:
  • 训练集 (train): 片段索引 0 至 150

特征 (Features)

• 动作 (action):
  • 数据类型: float32
  • 维度: 12（包含左右双臂的肩、肘、腕、夹爪等关节位置）
• 观测状态 (observation.state):
  • 数据类型: float32
  • 维度: 12（与动作特征相同的关节位置）
• 观测图像 (observation.images):
  • 共包含三个摄像头视角：
    • left_left_wrist: 左腕左侧摄像头
    • left_top: 左上方摄像头
    • right_right_wrist: 右腕右侧摄像头
  • 每个图像特征:
    • 数据类型: 视频 (video)
    • 分辨率: 720 x 1280 像素
    • 颜色通道: 3 (RGB)
    • 视频编码: AV1
    • 帧率: 30 FPS
• 时间戳 (timestamp): float32, 形状 [1]
• 帧索引 (frame_index): int64, 形状 [1]
• 片段索引 (episode_index): int64, 形状 [1]
• 索引 (index): int64, 形状 [1]
• 任务索引 (task_index): int64, 形状 [1]

文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

引用格式为 BibTeX，但当前内容未提供具体引用信息，标注为 [More Information Needed]。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于双手机器人操作任务。数据通过采集机器人执行立方体操作时的动作与状态信息生成，包含151个完整episode，总计137,937帧。每个episode记录了机器人双臂12个关节的位置指令（action）及对应的观测状态（observation.state）。视觉信息由三个视角的摄像头捕获：左腕、右腕及顶置视角，视频分辨率为720×1280，帧率为30 FPS，编码采用AV1格式。数据以Parquet文件和MP4视频形式存储，按chunk分片组织，便于高效读取。

特点

该数据集的特点在于其多模态对齐与精细化设计。动作与状态空间维度均为12，分别对应双臂关节位置，确保了控制指令与机器人实际位姿的严格一致性。视觉观测涵盖多视角，为模仿学习提供丰富的空间信息。数据采集频率为30 Hz，时间戳与帧索引精确记录，支持时序建模。所有数据遵循Apache-2.0许可，易于扩展与再分发。此外，数据集包含单任务类型，但通过151个不同episode展现了执行同一操作时的多样化轨迹。

使用方法

数据集通过LeRobot库加载与使用。用户可直接从HuggingFace调用`jio2/cube_v2_pi`数据集，利用`load_dataset`函数获取默认配置，该配置指向`data/*/*.parquet`路径下的数据文件。结合LeRobot的可视化界面，用户可在线预览样本。在使用中，动作、状态、图像等多模态数据以结构化特征字典形式提供，适合训练机器人模仿学习模型。建议将数据划分为训练集（全部151个episode），并利用LeRobot内置的数据加载器进行批量处理与增广。

背景与挑战

背景概述

cube_v2_pi数据集由Hugging Face平台上的研究团队创建，基于LeRobot开源框架构建，专注于机器人学习领域中的双臂操作任务。该数据集于近期发布，旨在为模仿学习和强化学习提供标准化的训练与评估基准。其核心研究问题在于如何利用多视角视觉与关节状态信息，驱动双臂机器人（型号为bi_so_follower）完成精细化的物体操控任务。数据集包含151个片段、逾13万帧同步数据，涵盖12维动作空间与3个高清摄像头视角，为机器人策略的泛化与鲁棒性研究提供了丰富的多模态样本。该数据集的推出填补了双臂协作场景中高质量、结构化数据的空白，推动了具身智能领域从仿真到真实环境的迁移研究。

当前挑战

所解决的领域问题方面，双臂协调操作面临高维动作空间与视觉反馈延迟的耦合挑战，传统单臂数据集难以支撑复杂协作策略的建模。构建过程中，采集双臂机器人同步运动轨迹时需校准多关节角度与时间戳的对齐误差；再者，高清视频数据（720p@30fps）的存储与处理面临实时性与压缩权衡的难题，采用AV1编码虽优化了空间占用，但解码效率可能影响训练流水线。此外，单任务设定（仅一种操作目标）限制了数据多样性，如何在这一约束下提取可迁移的多任务表征仍是关键瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，cube_v2_pi数据集专为双臂协同操作任务而设计，其核心应用在于模仿学习与行为克隆。该数据集通过采集双机械臂在立方体操作过程中的高精度运动轨迹与多视角视觉信息，为训练机器人从示范中学习精细操控技能提供了标准化数据基础。研究者常利用其中的双臂关节角度序列与第一人称视角图像，构建端到端的感知-行动模型，使得机器人能够复现如抓取、转移和装配等复杂动作。该数据集尤其适合验证基于Transformer或扩散策略的先进算法，在仿真与实物迁移场景中评估模型对多任务泛化与抗干扰的能力。

解决学术问题

该数据集有效解决了机器人领域长期存在的模仿学习数据稀缺与标定不一致问题。通过提供151个高质量示范片段和超过13万帧同步记录，cube_v2_pi为双臂协调控制的理论建模确立了可重复基准，弥合了仿真环境与真实物理世界之间的鸿沟。其统一的数据格式与清晰的传感标注使研究者能够系统性地探索多模态输入融合、时序动作分割以及误差累积抑制等关键学术命题。数据集中自然引入的运动变异性还为鲁棒控制策略的开发提供了挑战，推动了从单任务记忆到多技能泛化的范式演进，对机器人行为理解与自主学习理论的发展具有深远意义。

衍生相关工作

围绕cube_v2_pi数据集，学术界已衍生出多项突破性工作。例如，基于其运动特征设计的扩散策略框架显著提升了动作生成的平滑性与任务成功率，相关成果被广泛应用于多个机器人基准测试。研究者还利用该数据集验证了分层模仿学习架构，通过将原始轨迹分解为技能原语与组合规则，实现了跨任务零样本迁移。在视觉表征方面，基于该数据集训练的对比学习模型有效改善了遮挡场景下的状态估计精度。此外，该数据集催生了多个开源工具链，如LeRobot平台中的可视化与预处理模块，极大降低了后续研究者的入门门槛，形成了活跃的学术社区生态。