so101_pickplace_cubes_test1

这是一个使用LeRobot工具创建的数据集，包含202个剧集，共208133帧，涵盖13个任务。数据集以Parquet文件格式存储，并提供了相应的视频文件。每个剧集包含多个文件，数据集的总大小约为100MB，视频文件大小约为500MB。数据集的帧率为30fps，并且只包含视频数据，没有音频。数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 创建工具: LeRobot

数据集规模

• 总任务数: 184
• 总回合数: 202
• 总帧数: 208,133
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

• 数据格式: Parquet文件
• 分块大小: 1000
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 训练集: 全部202个回合

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

• 状态观测:

  • 名称: observation.state
  • 数据类型: float32
  • 维度: [6]
  • 关节位置: 与动作特征相同

• 图像观测:

  • 前视摄像头:

    • 名称: observation.images.front
    • 数据类型: video
    • 分辨率: 480×640×3
    • 视频编码: AV1
    • 像素格式: yuv420p
    • 非深度图

  • RS摄像头:

    • 名称: observation.images.rs
    • 数据类型: video
    • 分辨率: 480×640×3
    • 视频编码: AV1
    • 像素格式: yuv420p
    • 非深度图

索引特征

• 时间戳: float32, 维度[1]
• 帧索引: int64, 维度[1]
• 回合索引: int64, 维度[1]
• 数据索引: int64, 维度[1]
• 任务索引: int64, 维度[1]

技术规格

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 视频无音频

搜集汇总

数据集介绍

构建方式

在机器人操作领域，so101_pickplace_cubes_test1数据集通过LeRobot平台系统构建，记录了so101_follower型机器人在执行任务过程中的多模态数据。该数据集包含202个完整任务片段，总计208,133帧数据，以30帧每秒的速率采集，并以分块Parquet文件格式存储，确保了数据的高效访问与完整性。每个数据块包含机器人的动作指令、关节状态、视觉观测及时间戳等关键信息，为机器人学习研究提供了丰富的实验基础。

特点

该数据集在机器人操作任务中展现出多维度的特征优势，其动作空间涵盖六自由度关节位置控制，包括肩部平移、肩部抬升、肘部弯曲及腕部灵活运动等关键参数。观测数据融合了状态反馈与双视角视觉输入，前端与RS摄像头均以480x640分辨率的三通道视频捕捉环境动态，支持深度分析与模型训练。数据集结构清晰，通过索引机制实现快速检索，并采用高效视频编码技术，在保证数据质量的同时优化存储效率，适用于复杂的机器人行为建模研究。

使用方法

研究人员可通过加载Parquet格式的数据文件直接访问数据集内容，利用帧索引与任务索引快速定位特定操作序列。该数据集支持机器人强化学习与模仿学习算法的开发，用户可提取动作向量、关节状态及同步视觉流进行端到端训练。视频数据以MP4格式存储，兼容主流计算机视觉工具链，便于实现行为克隆、策略优化等高级应用。数据集遵循Apache 2.0许可协议，为学术与工业界的机器人智能研究提供了标准化实验平台。

背景与挑战

背景概述

在机器人操作领域，抓取与放置任务构成了工业自动化和服务机器人的核心能力。so101_pickplace_cubes_test1数据集由HuggingFace的LeRobot项目团队构建，专为研究机械臂在结构化环境中执行物体操控任务而设计。该数据集通过集成多模态传感器数据，包括关节状态、视觉观测与动作指令，为强化学习与模仿学习算法提供了丰富的训练资源。其架构支持对六自由度机械臂的轨迹规划与抓取策略进行系统性分析，推动了机器人感知-控制闭环系统的实证研究发展。

当前挑战

该数据集旨在解决机器人操作中动态环境下的抓取精度与泛化能力问题，其核心挑战在于多模态数据的时间对齐与高维动作空间的策略优化。构建过程中面临传感器同步复杂性，需协调关节编码器与双视角视觉数据流；同时，任务多样性要求覆盖不同初始配置与物体位姿，增加了数据采集的工程难度。此外，动作序列的平滑性与物理约束满足需通过大量试错实现，对硬件控制精度提出了严格要求。

常用场景

经典使用场景

在机器人操作领域，so101_pickplace_cubes_test1数据集作为LeRobot项目的重要组成部分，主要用于机器人抓取与放置任务的算法验证。该数据集通过记录六自由度机械臂在立方体操作任务中的完整运动轨迹，包括关节位置状态和双视角视觉信息，为模仿学习与强化学习研究提供了丰富的训练样本。其包含的202个完整操作序列和20余万帧数据，能够有效支撑机器人从感知到执行的端到端学习框架开发。

实际应用

在工业自动化场景中，该数据集支撑的算法可直接应用于物流分拣、装配线操作等实际任务。基于数据集训练的模型能够适应不同形状物体的抓取策略，提升生产线的柔性化程度。双摄像头配置提供的立体视觉信息，使得算法在复杂光照和遮挡环境下仍能保持稳定的操作性能。这种数据驱动的机器人学习方法，大幅降低了传统编程方式对专业工程师的依赖，推动了智能制造的普及进程。

衍生相关工作

围绕该数据集已衍生出多项机器人学习领域的重要研究。基于其多模态特性，研究者开发了视觉-动作联合嵌入模型，实现了从图像到控制指令的端到端映射。在模仿学习方向，该数据集支撑了行为克隆算法的改进，显著提升了策略泛化能力。同时，数据集的结构化设计启发了后续多个机器人操作数据集的构建标准，促进了领域内数据共享与算法比较的规范化发展。