so101-sort-color-joint-angles

LeRobot数据集是一个包含机器人动作和观察状态信息的视频数据集，共有2个剧集，3591个帧，1个任务和6个视频。数据集提供了关于机器人关节角度的详细动作特征和观察状态，以及从三个不同视角捕获的视频帧。数据集适用于机器人学相关的研究和开发任务。

The LeRobot Dataset is a video dataset containing robot motion and observation state information. It comprises 2 episodes, 3591 frames, 1 task, and 6 videos. The dataset provides detailed motion features related to robot joint angles and observation states, as well as video frames captured from three distinct perspectives. This dataset is suitable for robotics-related research and development tasks.

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总片段数: 2
• 总帧数: 3591
• 总视频数: 6
• 总块数: 1
• 块大小: 1000
• 帧率: 30
• 数据格式: Parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征说明

动作特征

• 名称: action
• 数据类型: float32
• 形状: [12]
• 关节角度名称:
  • shoulder_lift.angle
  • shoulder_pan.angle
  • elbow_flex.angle
  • wrist_flex.angle
  • wrist_roll.angle
  • gripper.angle

观测状态特征

• 名称: observation.state
• 数据类型: float32
• 形状: [18]
• 关节角度名称:
  • shoulder_lift.angle
  • shoulder_pan.angle
  • elbow_flex.angle
  • wrist_flex.angle
  • wrist_roll.angle
  • gripper.angle

图像观测特征

腕部图像

• 名称: observation.images.wrist
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

全局图像1

• 名称: observation.images.global1
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

全局图像2

• 名称: observation.images.global2
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

元数据特征

• 时间戳: float32, 形状[1]
• 帧索引: int64, 形状[1]
• 片段索引: int64, 形状[1]
• 索引: int64, 形状[1]
• 任务索引: int64, 形状[1]

分割信息

• 训练集: 片段0到2

创建信息

• 代码库版本: v2.1
• 创建工具: LeRobot
• 机器人类型: 未指定

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据采集领域，so101-sort-color-joint-angles数据集通过LeRobot框架系统性地构建。该数据集包含2个完整操作序列，总计3591帧数据，以30fps的采样率记录多模态信息。数据以分块形式存储于Parquet文件中，每个数据块容量为1000帧，确保了高效的数据管理与访问。

特点

该数据集的核心特征在于其丰富的多模态观测与动作空间。观测部分融合了关节角度状态向量与三路视觉输入（腕部视角及两个全局视角），动作空间则精确记录了六自由度机械臂的各关节控制指令。所有数据均以高精度浮点格式存储，视觉数据采用AV1编码，分辨率统一为640x480，为机器人学习提供了立体化信息支撑。

使用方法

研究者可通过加载标准Parquet格式文件访问数据集，利用帧索引与回合索引实现精确数据定位。该数据集专为模仿学习与强化学习算法设计，支持端到端的策略训练。视觉观测与关节状态的同步记录使算法能同时学习感知与控制，适用于机械臂抓取、物体分拣等操作任务的模型开发与验证。

背景与挑战

背景概述

在机器人学习领域，so101-sort-color-joint-angles数据集由LeRobot项目构建，专注于机器人操作任务的视觉与运动协同学习。该数据集通过多视角视觉观测与关节角度动作的同步记录，为机器人模仿学习与强化学习算法提供了丰富的训练资源。其设计旨在解决复杂环境下机器人对彩色物体的分拣任务，推动了机器人自主操作能力的发展，并为相关研究提供了标准化评估基准。

当前挑战

该数据集核心挑战在于解决机器人多模态感知与精确运动控制的协同问题，尤其是在动态环境中对彩色物体的识别与分拣任务。构建过程中面临多传感器数据同步、高维动作空间标注以及大规模视频数据存储与处理的复杂性，同时需确保关节角度数据的精确性与时序一致性，这些技术难点对数据采集系统与标注流程提出了较高要求。

常用场景

经典使用场景

在机器人操作任务研究中，该数据集通过多视角视觉观测与关节角度数据的联合记录，为模仿学习与强化学习算法提供了标准化的训练资源。其包含的腕部摄像头与全局视角视频流，结合六自由度机械臂的动作轨迹，能够有效支持机器人抓取、物体分类等复杂任务的策略学习。

实际应用

在工业自动化场景中，该数据集可用于训练智能分拣机器人，实现基于颜色识别的物体分类与抓取任务。其提供的多角度视觉输入与关节控制信号，能够直接应用于物流分拣、生产线装配等实际场景，降低机器人示教编程的复杂度并提高操作精度。

衍生相关工作

基于该数据集的多模态特性，已衍生出多个机器人视觉伺服控制、跨模态表示学习等方向的研究工作。例如结合时空注意力机制的模仿学习框架、基于视觉观测的关节角度预测模型等，这些成果显著推动了机器人感知与控制一体化的技术发展。