lerobot

这是一个用于机器人学任务的数据集，特别是与LeRobot相关的任务。数据集包含52个剧集，总共9382帧，数据以Parquet文件格式存储，视频文件以MP4格式存储。数据集提供了多种特征，包括动作位置、观察状态、前后视角的图像等。数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 创建工具: LeRobot

数据集规模

• 总情节数: 52
• 总帧数: 9382
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

• 数据格式: Parquet文件
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 代码库版本: v3.0
• 机器人类型: koch_follower

数据特征

动作特征

• 数据类型: float32
• 维度: 6
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: 6
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

前视摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

顶部摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 深度图: 否
• 音频: 无

索引特征

• 时间戳: float32, 维度1
• 帧索引: int64, 维度1
• 情节索引: int64, 维度1
• 索引: int64, 维度1
• 任务索引: int64, 维度1

数据划分

• 训练集: 0-52（全部数据）

搜集汇总

数据集介绍

构建方式

在机器人技术领域，LeRobot数据集通过精心设计的实验流程构建而成，采用Koch跟随机器人平台采集了52个完整任务片段，总计9382帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。采集过程中同步记录了机器人的六维关节位置动作与状态观测，并结合前视与顶置双视角视频流，以30帧/秒的速率完整捕捉任务执行场景。

特点

该数据集呈现出多模态融合的显著特性，既包含精确的机器人关节控制指令，又整合了双路视觉感知信息。动作空间涵盖肩部平移、肩部抬升、肘部弯曲等六个自由度的位置控制，观测空间则同步提供等维度的关节状态反馈。视觉数据采用AV1编码的彩色视频流，分辨率达640×480，通过前视与顶置双视角构建了立体感知环境。时序索引与任务标识的完整标注为强化学习研究提供了结构化支撑。

使用方法

研究者可通过LeRobot代码库加载该数据集，利用预定义的数据路径解析Parquet格式的观测与动作序列。训练时可直接调用包含关节状态、双视角图像及时间戳的完整观测空间，动作维度与状态观测保持严格对应。视频数据通过专用解码器实时渲染，支持帧级精确检索。数据集已预设训练划分，涵盖全部52个任务片段，可直接用于行为克隆、强化学习等机器人策略训练任务。

背景与挑战

背景概述

机器人学习领域长期面临着仿真与现实世界间存在显著差异的难题。LeRobot数据集由HuggingFace研究团队于2024年通过开源机器人学习平台构建，专门针对机械臂操作任务设计。该数据集采用Koch Follower型机器人采集了52个完整操作序列，包含9382帧多模态数据，通过整合关节状态、双视角视觉信息与动作指令，为模仿学习与强化学习算法提供了真实环境下的训练基准。其结构化数据存储方案与标准化接口设计，显著提升了机器人行为克隆研究的可复现性。

当前挑战

在机器人操作任务领域，该数据集需解决高维动作空间与视觉感知的协同建模难题。构建过程中面临多传感器时序对齐的技术挑战，包括机械臂关节编码器与双视角相机数据的毫秒级同步需求。数据采集环节需克服真实环境中光照变化、物体位姿不确定性等干扰因素，同时确保6自由度机械臂动作轨迹的平滑性与任务完成度。视频数据压缩存储时还需平衡AV1编解码效率与视觉特征保真度的矛盾。

常用场景

衍生相关工作

围绕LeRobot数据集已衍生出多个具有影响力的研究方向。在行为克隆领域，研究者基于该数据集开发了改进的时序建模方法，提升了长程任务的学习效果。在迁移学习方面，该数据集促进了仿真到实物转移技术的研究进展。此外，数据集的多模态特性也推动了视觉-动作联合表示学习等新兴课题的发展，为机器人学习社区提供了宝贵的基准测试平台。

数据集最近研究

最新研究方向

在机器人学习领域，LeRobot数据集凭借其多模态观测与关节控制数据的融合特性，正推动模仿学习与强化学习的前沿探索。当前研究聚焦于跨视角视觉表征的协同建模，通过整合顶部与前方双路高清视频流，构建具备空间感知能力的动作预测模型。该数据集支撑的端到端策略学习框架，显著提升了机械臂在复杂环境中的任务泛化能力，为具身智能系统的现实部署奠定数据基石。