2

LeRobot数据集是一个包含机器人任务相关数据的集合，适用于机器人学研究。该数据集版本为v2.1，包含so100_follower类型的机器人数据。总共有5个剧集，538帧，1个任务，10个视频和1个数据片段，每个片段大小为1000。数据集的帧率为30fps，并且数据被划分为训练集。数据集中的特征包括机器人的动作位置、观察状态、正面和侧面视频图像、时间戳、帧索引等信息。所有数据均以Parquet格式存储，视频为av1编码的MP4文件。

原始信息汇总

数据集概述

基本信息

• 名称: Thuongg2907/2
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总视频数: 10
• 总片段数: 5
• 总帧数: 538
• 数据块数: 1
• 块大小: 1000
• 帧率: 30 FPS
• 分割: 训练集（0:5）

数据格式

• 数据文件: Parquet格式
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

前视图像观测

• 名称: observation.images.front
• 数据类型: video
• 分辨率: 480×640×3
• 视频属性:
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

侧视图像观测

• 名称: observation.images.side
• 数据类型: video
• 分辨率: 480×640×3
• 视频属性:
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 无音频

元数据特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 片段索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so100_follower

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性与系统性至关重要。该数据集依托LeRobot平台构建，通过记录SO100型跟随机器人的多模态交互数据，包含5个完整任务片段和538帧时序信息。数据以分块形式存储于Parquet格式文件中，每块容量设定为1000帧，采样频率为30Hz，确保了时序连贯性与存储效率的平衡。

特点

该数据集显著特点在于其多维度的机器人状态表征，不仅包含6自由度关节位置的动作向量与状态观测值，还同步采集双视角视觉数据——前置与侧置摄像头均以480×640分辨率的三通道视频流记录环境交互。所有数据均带有精确的时间戳与帧索引，支持端到端的机器人模仿学习与行为克隆研究。

使用方法

研究者可通过解析Parquet文件直接获取结构化数据，其中动作与观测张量已按帧对齐，视频数据则存储为独立MP4文件。数据集默认划分为训练集（全部5个片段），适用于行为克隆、强化学习等任务。加载时需注意遵循Apache 2.0许可协议，并参照meta/info.json中的特征字典进行数据解析。

背景与挑战

背景概述

机器人学习领域近年来对大规模标准化数据集的需求日益增长，LeRobot数据集应运而生。该数据集由HuggingFace团队基于开源机器人学习框架LeRobot构建，专注于多模态机器人操作任务的建模与仿真。数据集采用Apache 2.0许可证，包含机械臂关节状态、视觉观测和时间序列等多维度数据，为机器人模仿学习与强化学习算法提供了重要基准。其结构化设计支持端到端策略训练，通过标准化数据格式促进了机器人学习研究的可复现性。

当前挑战

该数据集致力于解决机器人视觉运动控制中的多模态感知与动作生成问题，面临机器人状态空间高维连续化带来的动作策略学习复杂度挑战。构建过程中需克服多传感器时序同步精度控制、大规模视频数据压缩存储优化，以及不同机器人平台数据标准化适配等工程技术难题。数据采集环节还需确保机械臂运动轨迹的安全性与多样性平衡，这对实验环境搭建和采样策略设计提出了较高要求。

常用场景

经典使用场景

在机器人学习领域，该数据集通过记录六自由度机械臂的关节位置状态与多视角视觉观测数据，为模仿学习与行为克隆算法提供了标准化的训练资源。研究者可利用其包含的连续动作序列与同步视频帧，构建从视觉感知到关节控制的端到端策略模型，特别适用于机械臂轨迹跟踪与抓取任务的行为复现。

实际应用

在工业自动化场景中，该数据集可直接用于训练机械臂的视觉伺服系统，实现基于视觉反馈的精密装配与物料分拣任务。其包含的双视角视频数据能够支撑三维工作空间中的姿态估计，而标准化动作接口则便于迁移到同类机械臂平台，为柔性制造产线的快速部署提供数据支撑。

衍生相关工作

基于该数据集的特性，已有研究衍生出多模态示范数据压缩存储、跨机器人平台策略迁移等经典工作。其标准化的Parquet格式与视频编码规范被广泛应用于机器人学习数据管道构建，启发了后续如分布式机器人数据收集框架、多任务策略泛化基准等一系列重要研究方向。