so101-pick-cube

该数据集是一个用于机器人任务的开源数据集，基于LeRobot框架创建，专为机器人操作任务设计，例如拾取立方体等场景。它包含99个完整的任务执行序列（episodes），总计44042个时间步（帧）。数据采用结构化存储，主要特征包括：1) 动作：一个6维浮点向量，表示机器人关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转）和夹爪的位置指令；2) 状态观测：一个与动作维度相同的6维浮点向量，表示机器人各关节的实时位置；3) 视觉观测：提供两个固定视角的视频流，分别是腕部摄像头和顶部摄像头，每个视频的分辨率为720x1280，帧率为30 fps，采用AV1编码的彩色（RGB）视频；4) 元数据：包括时间戳、帧索引、episode索引、任务索引等。数据集以分块Parquet文件格式组织，适用于机器人模仿学习、行为克隆、强化学习等算法的训练与评估。This dataset is an open-source dataset for robotics tasks, created using the LeRobot framework. It is specifically designed for robot manipulation tasks, such as picking up cubes. The dataset contains 99 complete task execution sequences (episodes), totaling 44,042 timesteps (frames). Data is stored in a structured format, with key features including: 1) Actions: a 6-dimensional floating-point vector representing robot joint (shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation) and gripper position commands; 2) State observations: a 6-dimensional floating-point vector with the same dimension as actions, representing the real-time positions of robot joints; 3) Visual observations: two fixed-view video streams, from a wrist camera and a top camera, each with a resolution of 720x1280, a frame rate of 30 fps, and AV1-encoded color (RGB) videos; 4) Metadata: including timestamps, frame indices, episode indices, task indices, etc. The dataset is organized in chunked Parquet file format, suitable for training and evaluation of algorithms such as imitation learning, behavior cloning, and reinforcement learning in robotics.

原始信息汇总

数据集概述

• 数据集名称: so101-pick-cube
• 创建工具: 使用 LeRobot 创建
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot

数据集结构

• 基础信息:

  • 代码库版本: v3.0
  • 帧率 (fps): 30
  • 总片段数: 99
  • 总帧数: 44042
  • 总任务数: 1
  • 数据文件大小: 100 MB
  • 视频文件大小: 200 MB
  • 机器人类型: so_follower
  • 数据划分: 训练集 (片段 0 到 98)

• 数据特征:

  • action: 6维浮点数组，包含机器人关节位置（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper）。
  • observation.state: 6维浮点数组，与 action 结构相同，表示机器人状态。
  • observation.images.wrist: 手腕摄像头视频数据，分辨率 1280x720，3 通道，AV1 编码，30 fps。
  • observation.images.top: 顶部摄像头视频数据，分辨率 1280x720，3 通道，AV1 编码，30 fps。
  • timestamp: 浮点型时间戳。
  • frame_index: 整数型帧索引。
  • episode_index: 整数型片段索引。
  • index: 整数型全局索引。
  • task_index: 整数型任务索引。

数据存储格式

• 数据文件: Parquet 格式，路径为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。
• 视频文件: MP4 格式，路径为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。
• 块大小: 1000 帧。

引用信息

• BibTeX: 暂无可用引用信息。

搜集汇总

数据集介绍

构建方式

so101-pick-cube数据集依托于LeRobot开源框架构建，专注于机器人操作任务的模仿学习。数据集采集了SO-100型机械臂在抓取立方体这一单一任务下的遥操作演示数据，共包含99个演示片段，总计约44042帧，帧率为30fps。所有数据以Parquet格式存储，并辅以AV1编码的高清视频流，分别来自腕部和顶部两个视角，分辨率为1280×720。数据记录了6维关节空间的动作指令与状态信息，包括肩部、肘部、腕部及夹爪的姿态，并按照chunk分块组织，便于高效加载与训练。

特点

该数据集的核心特色在于其结构化的多模态融合设计，将高精度关节状态与双视角视觉观测紧密结合，为机器人行为克隆提供了丰富的监督信号。所有数据在30Hz频率下同步采集，动作与状态空间维度一致，支持端到端的策略学习。视频采用AV1编码以平衡质量与存储效率，同时保留了时间戳、帧索引和任务索引等元信息，便于进行时序建模与回合对齐。99个演示片段全部用于训练，确保了数据的一致性和任务专注性。

使用方法

数据集通过Hugging Face的LeRobot工具链可直接加载与可视化，用户可通过框架内建的数据集接口读取Parquet文件中的动作和状态序列，并同步访问编码后的视频帧。在使用时，建议首先通过LeRobot的visualize_dataset空间预览数据质量，随后利用其DataLoader模块按episode索引提取输入输出对。推荐的训练流程包括从观测图像中编码视觉特征，再联合状态向量进行策略网络的学习，输出6维连续动作。数据已按chunk分片，适合分布式训练与缓存优化。

背景与挑战

背景概述

so101-pick-cube数据集由研究人员利用LeRobot框架创建，发布于HuggingFace平台，专注于机器人操作任务中的物体抓取与操控。该数据集围绕机械臂自主抓取立方体的核心问题，记录了99个示范片段，包含44042帧高分辨率视觉与状态信息。通过采集机械臂关节角度、末端执行器位姿及腕部与顶部摄像头图像，数据集为模仿学习与强化学习算法提供了结构化训练素材，在机器人技能学习领域具备基础性参考价值。

当前挑战

该数据集面临的挑战包括：首先，机器人抓取任务要求在非结构化环境中实现高精度操作，而立方体位置与姿态的随机变化对算法泛化能力构成考验。其次，数据采集过程中机械臂运动规划与视觉反馈的实时同步、多传感器异构数据的对齐，以及视频编解码带来的时序准确性，均是构建高质量示范数据的关键难点。此外，99个示范片段的数据规模有限，可能限制策略在复杂场景下的鲁棒性学习。

常用场景

经典使用场景

在机器人操作研究领域，so101-pick-cube数据集为学习精细抓取与放置任务提供了宝贵的标准化基准。该数据集记录了一台so_follower机械臂在99个完整回合中，通过6自由度的关节动作（包括肩关节、肘关节、腕关节及夹爪）完成立方体抓取的全过程。数据集以30帧每秒的同步视频流（含腕部与顶部双视角RGB图像）和精确的动作状态序列构成，尤其适合用于训练基于视觉的运动策略。研究者可借助此数据集，探索从高维视觉观测到低维动作映射的端到端学习方法，亦可用于验证模仿学习、行为克隆或强化学习算法在静态物体抓取任务中的性能表现，是机器人技能习得研究中的典型数据资产。

解决学术问题

该数据集的核心价值在于为解决机器人操作中的‘物体抓取与放置’这一基础但关键的学术问题提供了可复现的基准平台。长期以来，学术界在机械臂控制领域面临两大挑战：一是缺乏高质量、多模态的闭环操作数据，二是难以对非精确建模的物体（如立方体）进行泛化性研究。so101-pick-cube通过标准化采集流程，提供了精细的动作标签与对齐的视觉观测，使得研究者能够系统性地研究从视觉特征提取到动作序列生成的因果建模问题。该数据集的发布显著推动了机器人领域中关于数据驱动控制策略的实证研究，尤其为对比不同算法在相同设置下的拾取成功率、轨迹平滑度及抗扰动能力提供了统一标尺。

衍生相关工作

基于so101-pick-cube数据集，机器人学习社区已衍生出多项经典工作。最直接的应用是在模仿学习框架中，研究者利用该数据集的行为克隆范式，验证了基于Transformer的动作预测架构（如ACT、DP）在精细抓取任务中的泛化能力。此外，该数据集被广泛用于构建因果推理与数据增强方法的测试床，例如通过引入视角扰动或关节噪声来评估策略的鲁棒性。也有工作将其作为基线，对比离线强化学习算法（如IQL、CQL）与在线微调方法的性能差异。在更前沿的方向上，该数据集的多模态特征促使了视觉-语言-动作联合建模的研究探索，成为评估机器人基础模型在具体操作任务上迁移效果的重要参考资源。