so100_grab_two_cubes_into_two_cups_v2_1

该数据集使用LeRobot创建，包含机器人类型为so101_follower的相关数据。数据集共有100个剧集，59827帧，1个任务。数据被分为训练集。数据集包括动作、状态观察、图像观察等特征。具体的数据和视频文件路径也有详细说明。该数据集使用Apache-2.0许可证。但数据集的具体描述和引用信息标记为需要更多信息，说明这些详细信息未在README中提供。

原始信息汇总

数据集概述

基本信息

• 数据集名称: so100_grab_two_cubes_into_two_cups_v2_1
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总情节数: 100
• 总帧数: 59827
• 数据块大小: 1000
• 帧率: 30.0 FPS
• 数据分割: 训练集 (0:100)

数据特征

动作特征

• 数据类型: float32
• 形状: [6]
• 特征名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
• 帧率: 30.0 FPS

观测特征

• 状态观测:

  • 数据类型: float32
  • 形状: [6]
  • 特征名称与动作特征相同
  • 帧率: 30.0 FPS

• 前视图像观测:

  • 数据类型: 视频
  • 形状: [480, 640, 3] (高度, 宽度, 通道)
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 FPS
    • 通道数: 3
    • 包含音频: false

索引特征

• 时间戳: float32, 形状[1], 帧率30.0 FPS
• 帧索引: int64, 形状[1], 帧率30.0 FPS
• 情节索引: int64, 形状[1], 帧率30.0 FPS
• 索引: int64, 形状[1], 帧率30.0 FPS
• 任务索引: int64, 形状[1], 帧率30.0 FPS

存储信息

• 数据文件格式: parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，该数据集通过LeRobot平台系统采集，采用so101_follower型机器人执行双立方体抓取任务。数据记录以30帧每秒的速率进行，涵盖100个完整操作片段，总计59827帧动作序列。原始数据以分块形式存储于parquet格式文件中，每块包含1000帧数据点，确保高效存取与处理。

特点

该数据集在机器人控制领域展现出多维特征优势，其动作空间与观测状态均采用6维浮点向量描述关节位置信息，涵盖肩部平移、肩部抬升、肘部弯曲及腕部旋转等关键自由度。前端摄像头以480×640分辨率记录RGB视觉流，配合时间戳与帧索引构建时空对齐的多模态数据。所有数据均经过标准化处理，具备统一的采样频率与数据结构，便于模型训练与分析。

使用方法

针对机器人模仿学习研究需求，该数据集支持端到端的训练流程。研究者可通过加载parquet数据块获取动作-观测对序列，其中观测数据包含关节状态与视觉信息双重输入。训练时可利用帧索引实现跨片段采样，视频文件与传感器数据通过统一键值实现同步调用。数据集采用Apache 2.0许可协议，允许研究者自由进行模型开发、性能评估及算法验证等学术用途。

背景与挑战

背景概述

在机器人操作任务研究领域，模仿学习已成为实现复杂行为规划的关键范式。so100_grab_two_cubes_into_two_cups_v2_1数据集由HuggingFace的LeRobot项目团队构建，专注于多物体抓取与放置任务的技能学习。该数据集通过记录六自由度机械臂的关节状态、视觉观测与动作序列，为研究端到端操作策略提供了结构化数据支撑。其包含100个完整任务片段与近六万帧时序数据，采用Apache 2.0开源协议，显著推进了机器人操作技能的数据驱动研究进程。

当前挑战

该数据集致力于解决机器人多物体协同操作中的动作规划难题，其核心挑战在于高维连续动作空间与视觉感知的精确对齐。构建过程中面临传感器时序同步的技术瓶颈，需确保30Hz采样频率下机械臂状态与视觉数据的严格对应。数据标注维度涵盖六关节位置控制与480p视觉流，对存储架构提出严峻考验，原始数据体积达600MB的分布式存储方案即为此设计的应对策略。

常用场景

经典使用场景

在机器人操作学习领域，该数据集通过记录机械臂抓取两个立方体并放置于杯中的完整动作序列，为模仿学习算法提供了丰富的训练样本。其包含的关节位置、图像观测与时间戳等多模态数据，能够有效支撑端到端策略网络的训练过程，尤其适用于复杂操作任务的动态建模。

衍生相关工作

以该数据集为基石，研究者开发了基于时空注意力机制的轨迹预测模型，并衍生出多任务协作操作框架。相关成果进一步催生了跨模态表征学习在机器人领域的研究浪潮，为后续动态场景下的操作策略迁移奠定了方法论基础。

数据集最近研究

最新研究方向

在机器人操作任务领域，so100_grab_two_cubes_into_two_cups_v2_1数据集正推动模仿学习与多模态感知融合的前沿探索。该数据集通过集成关节状态、视觉观测和时序动作数据，为机器人抓取与放置任务提供了丰富的训练基础。当前研究聚焦于利用此类结构化数据开发端到端策略网络，结合强化学习优化复杂环境下的泛化能力，同时探索跨任务迁移学习以提升模型在未知场景中的适应性。随着开源机器人平台LeRobot的普及，这类数据集正成为推动具身智能与实时决策系统发展的关键资源，为工业自动化和服务机器人应用奠定实证基础。