so101_dataset_marker

该数据集是一个机器人数据集，包含50个总剧集，16157个总帧数，1个总任务，100个总视频和1个总块。数据集的结构详细描述了代码库版本、机器人类型、文件路径、视频路径以及包含的特征，如动作、观察状态、正面和手腕的图像、时间戳、帧索引、剧集索引、索引和任务索引。每个特征都详细说明了数据类型、形状和名称。

原始信息汇总

数据集概述

基本信息

• 许可证：Apache-2.0
• 任务类别：机器人学
• 标签：LeRobot

数据集结构

• 总任务数：1
• 总视频数：100
• 总片段数：50
• 总帧数：16157
• 片段大小：1000
• 帧率：30 fps
• 数据格式：Parquet
• 数据路径：data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径：videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分割：训练集（0:50）

特征描述

动作特征

• 名称：action
• 数据类型：float32
• 形状：[6]
• 字段：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态特征

• 名称：observation.state
• 数据类型：float32
• 形状：[6]
• 字段：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

前视图像特征

• 名称：observation.images.front
• 数据类型：video
• 形状：[480, 640, 3]
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编解码器：av1
  • 像素格式：yuv420p
  • 非深度图
  • 帧率：30 fps
  • 通道数：3
  • 无音频

腕部图像特征

• 名称：observation.images.wrist
• 数据类型：video
• 形状：[480, 640, 3]
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编解码器：av1
  • 像素格式：yuv420p
  • 非深度图
  • 帧率：30 fps
  • 通道数：3
  • 无音频

其他特征

• timestamp：float32，形状[1]
• frame_index：int64，形状[1]
• episode_index：int64，形状[1]
• index：int64，形状[1]
• task_index：int64，形状[1]

技术信息

• 代码库版本：v2.1
• 机器人类型：so101_follower
• 数据文件位置：data//.parquet

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据采集的精确性与系统性至关重要。so101_dataset_marker基于LeRobot框架构建，通过记录so101_follower机器人在实际任务中的操作过程，系统采集了50个完整片段，共计16157帧数据。数据以分块形式存储于Parquet格式文件中，每块包含1000帧，采样频率为30Hz，确保了时间序列数据的连续性与完整性。

使用方法

研究者可通过加载Parquet数据文件直接访问多模态序列，其中动作与状态数据以float32格式存储，视频数据则通过AV1编码的MP4文件提供。数据集已预设训练集划分（0:50），支持按片段索引快速检索。典型应用包括联合视觉观测与关节状态进行策略网络训练，或利用时间戳信息构建动态模型，适用于行为克隆、逆强化学习等机器人学习任务。

背景与挑战

背景概述

机器人学习领域近年来对高质量示范数据的需求日益增长，so101_dataset_marker作为基于LeRobot框架构建的专用数据集，专注于六自由度机械臂的轨迹学习与视觉感知任务。该数据集通过SO101跟随者机器人平台采集，包含50个完整示教片段和16157帧多模态数据，其结构化设计支持端到端模仿学习算法的训练与验证，为机器人行为克隆研究提供了重要的基准资源。

当前挑战

该数据集致力于解决高维连续动作空间中的机械臂轨迹预测难题，其核心挑战在于如何从多视角视觉输入中提取有效特征以生成精确的关节控制指令。构建过程中面临多传感器时序同步、大规模视频数据压缩存储等技术障碍，同时需确保动作指令与视觉观测间的精确对应关系，这对数据采集系统的实时性与稳定性提出了极高要求。

常用场景

经典使用场景

在机器人学习领域，so101_dataset_marker数据集以其丰富的多模态数据为机器人行为克隆研究提供了重要支撑。该数据集通过记录六自由度机械臂的关节位置状态与双视角视觉信息，典型应用于模仿学习算法的训练与验证，研究者能够基于真实操作数据构建从感知到动作的端到端映射模型。

解决学术问题

该数据集有效解决了机器人技能传递中的示范数据稀缺性问题，为行为克隆、逆强化学习等方向提供了高质量基准数据。其精确的时间同步机制与多传感器融合格式，显著提升了动态环境下动作预测模型的准确性，推动了机器人自主学习范式的演进。

实际应用

工业自动化场景中，该数据集可直接用于训练机械臂执行精密装配任务，通过前端与腕部摄像头的视觉反馈实现物体抓取定位。服务机器人领域则可借鉴其多模态数据采集框架，开发适应复杂家居环境的物体操作技能，降低机器人部署的示教成本。

数据集最近研究

最新研究方向

在机器人操作学习领域，so101_dataset_marker作为LeRobot生态系统的重要组成部分，正推动模仿学习与多模态感知的融合研究。该数据集通过提供机械臂关节状态与双视角视觉观测的同步数据，为端到端策略学习提供了丰富样本。当前研究热点集中于利用此类多模态数据提升模型在真实场景中的泛化能力，特别是在少样本学习与跨任务迁移方面取得显著进展。随着具身智能研究的深入，该数据集在推动机器人理解复杂环境语义、实现精细操作任务方面展现出重要价值，为构建通用机器人学习平台提供了数据基础。