so101_follower_leader_dataset_trial

该数据集是一个与机器人学相关的数据集，包含多个剧集、帧和视频。数据集结构中包括动作位置、观察状态、图像和时间戳等特征。数据集遵循Apache-2.0许可。

原始信息汇总

数据集概述

基本信息

• 名称: so101_follower_leader_dataset_trial
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总片段数: 5
• 总帧数: 8968
• 总视频数: 5
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集（5个片段）

数据格式

• 数据文件: Parquet格式
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态特征

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测特征

• 名称: observation.images.front
• 数据类型: video
• 形状: [480, 640, 3]
• 视频信息:
  • 高度: 480像素
  • 宽度: 640像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 深度图: 否
  • 帧率: 30 fps
  • 通道数: 3
  • 音频: 无

元数据特征

• timestamp: float32, 形状[1]
• frame_index: int64, 形状[1]
• episode_index: int64, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

引用信息

• 论文: 未提供
• BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

在机器人协作学习领域，so101_follower_leader_dataset_trial数据集通过LeRobot框架系统采集。该数据集包含5个完整交互情景，总计8968帧数据，采用30fps同步记录机械臂关节状态与视觉信息。数据以分块存储的parquet格式组织，每个情景包含六维动作向量、关节状态观测及480×640分辨率的前视RGB视频流，时间戳与帧索引确保多模态数据的精确对齐。

特点

数据集显著特点在于其多模态异构数据的结构化整合，动作空间涵盖肩部平移、肩部抬升、肘部屈伸、腕部屈伸、腕部旋转及夹爪开合六自由度控制指令。观测空间同步提供机械臂状态反馈与高帧率视觉感知，视频流采用AV1编码压缩存储。数据维度命名规范且包含元描述，支持机器人模仿学习与视觉运动控制任务的端到端训练需求。

使用方法

使用者可通过加载parquet数据文件获取时序对齐的多模态序列，动作与观测数据以float32格式存储便于神经网络处理。视频文件独立存储于videos目录，可通过帧索引与情景编号进行关联检索。数据集默认划分为训练集，支持机器人行为克隆、逆强化学习等算法验证，需注意数据规模较小适用于方法可行性初步验证而非大规模模型训练。

背景与挑战

背景概述

机器人学习领域近年来对多智能体协作系统的研究日益深入，so101_follower_leader_dataset_trial数据集作为LeRobot项目的重要组成部分，专注于记录跟随者-领导者模式的机械臂协同操作数据。该数据集通过Apache 2.0许可证发布，包含5个完整任务片段，共计8968帧高精度运动轨迹与视觉信息，其六自由度关节控制与前端视觉观测的同步记录为研究分布式机器人控制策略提供了宝贵资源。

当前挑战

该数据集致力于解决多智能体协同操作中的动作同步与状态感知难题，其构建过程面临多重挑战：需确保双机械臂系统的时空数据精确对齐，处理高维连续动作空间与视觉观测的异构数据融合，以及在有限任务场景下保持数据多样性与泛化能力。同步记录六关节运动参数与480p视觉流时需克服硬件同步精度与数据存储优化的技术瓶颈。

常用场景

经典使用场景

在机器人协作学习领域，该数据集通过记录领导者-跟随者交互过程中的多模态数据，为模仿学习算法提供了宝贵的训练资源。其经典应用场景包括机械臂动作轨迹预测、视觉-运动协同控制等任务，研究者可利用该数据集训练神经网络理解并复现人类演示的精细操作行为。

解决学术问题

该数据集有效解决了机器人技能传递中的动作表征难题，通过提供精确的关节位置数据与同步视觉观测，支持端到端策略学习研究。其意义在于建立了真实物理交互与算法训练之间的桥梁，为验证行为克隆、逆强化学习等方法的有效性提供了标准化评估基准。

衍生相关工作

基于该数据集的特性，已衍生出多项关于多模态融合表征学习的经典研究。包括基于时空注意力的动作预测模型、跨模态对比学习框架等，这些工作推动了机器人感知-动作闭环控制理论的发展，并为后续大规模机器人数据集构建提供了重要范式参考。