so101_red_cube_sort

这是一个关于机器人技术的数据集，包含150个剧集，共84742帧，专注于一个任务。数据集以Parquet格式存储，并配有视频文件。数据集的特征包括机器人的动作和状态、两种视角的图像数据以及其他相关元数据。数据集的许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据集规模

• 总任务数: 1
• 总回合数: 150
• 总帧数: 84742
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 分块大小: 1000

数据分割

• 训练集: 0-150回合

数据结构

数据文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 名称: observation.state
• 数据类型: float32
• 维度: 6
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

上方摄像头

• 名称: observation.images.up
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 深度图: 否
• 音频: 无

腕部摄像头

• 名称: observation.images.wrist
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 深度图: 否
• 音频: 无

索引字段

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，so101_red_cube_sort数据集通过LeRobot平台精心构建，采用真实机器人交互记录方式。数据集包含150个完整操作序列，总计84742帧数据，以30帧每秒的速率采集，确保了动作与观测的时序连贯性。数据以分块存储于Parquet格式文件中，每块容纳1000帧，有效平衡了存储效率与访问性能，同时配套视频文件以AV1编码保存，为机器人学习任务提供了丰富的多模态信息基础。

特点

该数据集在机器人状态感知方面具有显著优势，整合了六自由度关节位置的动作与状态观测，涵盖肩部平移、肩部抬升、肘部弯曲及腕部多个维度。多视角视觉数据包含顶部与腕部摄像头采集的480x640分辨率RGB图像，支持三维通道色彩信息。数据结构清晰定义了时间戳、帧索引与任务索引等关键元数据，为机器人模仿学习与策略优化提供了高精度、多层次的时空关联特征。

使用方法

研究者可通过解析Parquet数据文件直接获取机器人关节状态与动作序列，配合MP4格式视频文件实现感知-动作对齐分析。数据集采用标准训练集划分，支持端到端机器人控制模型训练。利用帧索引与时间戳可重构完整操作轨迹，多传感器融合特性适用于行为克隆、强化学习等算法验证。数据加载遵循分块读取机制，有效支持大规模机器人操作任务的分布式训练流程。

背景与挑战

背景概述

在机器人操作学习领域，高质量示范数据的稀缺性始终制约着策略泛化能力的提升。so101_red_cube_sort数据集由HuggingFace的LeRobot项目构建，专注于机械臂物体分拣任务的模仿学习研究。该数据集通过so101_follower型机器人采集了150个完整操作序列，涵盖84742帧多模态数据，其核心价值在于提供了关节空间动作指令与双视角视觉观测的精确对齐，为机器人精细操作策略的端到端训练奠定了数据基础。

当前挑战

物体分拣任务需解决动态环境中目标定位精度与抓取姿态自适应性的双重难题，数据集构建过程面临多传感器时序同步与高维动作空间采样的技术挑战。具体而言，机械臂六自由度关节控制需与480p分辨率的上方及腕部相机数据保持毫秒级同步，而parquet格式的存储方案既要维持100MB结构化数据与500MB视频数据的存取效率，又需确保动作指令与视觉观测在30fps采样率下的时空一致性。

常用场景

经典使用场景

在机器人操作学习领域，so101_red_cube_sort数据集通过记录六轴机械臂对红色立方体的分拣任务，为模仿学习算法提供了丰富的多模态训练数据。该数据集包含84742帧高分辨率视觉观测与关节位置动作的同步记录，能够有效支撑端到端策略网络的训练过程，使机器人能够从视觉输入中直接推断出精确的动作指令。

衍生相关工作

该数据集催生了多项基于LeRobot框架的衍生研究，包括分层强化学习在长时序任务中的应用、多视角视觉特征融合方法探索等。相关研究通过扩展数据集的表示学习能力，开发出更高效的策略蒸馏算法和跨任务迁移技术，为机器人持续学习范式提供了重要实践基础。

数据集最近研究

最新研究方向

在机器人操作学习领域，so101_red_cube_sort数据集凭借其多模态观测与关节控制数据，正推动模仿学习与视觉运动策略的前沿探索。该数据集通过整合顶部与腕部双视角视频流及六自由度机械臂动作轨迹，为跨模态表征学习提供了重要支撑。当前研究聚焦于端到端策略泛化能力的提升，结合Transformer架构处理时序视觉特征，显著增强了复杂场景下的物体分拣任务适应性。随着具身智能研究热潮的兴起，此类高精度动作标注数据集正成为验证机器人零样本迁移能力的关键基准，对工业自动化和服务机器人技术发展具有深远影响。