record-lighter

该数据集是一个关于机器人技术的数据集，包含50个剧集，共24933帧。数据集分为训练集，没有提供测试集信息。数据以Parquet文件格式存储，并包含相应的视频文件。数据集特征包括机器人的动作、观察状态、俯视图和顶视图图像等。每个特征都有详细的数据类型和形状描述。数据集的许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v3.0

数据集规模

• 总回合数: 50
• 总帧数: 24933
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据集结构

数据划分

• 训练集: 0-50回合

数据格式

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000

特征描述

动作特征

• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: [6]
• 关节位置: 与动作特征相同

图像观测

第一人称视角图像 (fpv)

• 数据类型: 视频
• 分辨率: 768×1024×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

顶部视角图像 (top)

• 数据类型: 视频
• 分辨率: 540×960×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

元数据特征

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 回合索引: int64 [1]
• 索引: int64 [1]
• 任务索引: int64 [1]

机器人信息

• 机器人类型: so101_follower

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人技术领域，record-lighter数据集依托LeRobot框架精心构建，采用结构化数据采集流程。该数据集包含50个完整任务片段，总计24933帧数据，以30帧每秒的速率记录机器人操作过程。数据以分块形式存储于Parquet文件中，每块容量为1000帧，确保高效存取与处理。机器人状态信息与多视角视觉数据同步采集，形成完整的时空对齐记录。

特点

该数据集展现出多模态融合的显著特性，同时涵盖机器人关节位置状态与双视角视觉观测。第一人称视角图像分辨率为768×1024，顶部视角图像分辨率为540×960，均采用AV1编码压缩。动作空间定义明确，包含六个自由度关节控制指令。时序信息完整记录，每帧均附带时间戳与索引标记，为连续决策分析提供坚实基础。

使用方法

研究人员可通过标准数据加载流程调用该数据集，按照指定路径模式访问分块存储的Parquet文件。训练集涵盖全部50个任务片段，支持端到端机器人学习任务。多模态特征可直接用于行为克隆、强化学习等算法训练，视频数据与状态观测的对应关系为模仿学习提供丰富样本。数据集遵循Apache 2.0许可协议，保障学术研究的合规使用。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据对策略泛化能力具有决定性作用。record-lighter数据集作为LeRobot项目的重要组成部分，专注于机械臂操作任务的示范数据收集。该数据集通过SO101型跟随机器人采集了50个完整任务序列，包含近2.5万帧多模态观测数据，其特色在于同步记录六自由度关节控制指令与双视角视觉信息，为模仿学习与行为克隆算法提供了结构化训练素材。

当前挑战

机器人操作任务面临动作空间高维连续控制的复杂性挑战，需解决视觉-运动协同映射的精确建模问题。数据集构建过程中需克服多传感器时序对齐的技术难点，包括机械臂关节编码器与双摄像头视频流的毫秒级同步，以及大规模视频数据压缩存储与快速检索的工程挑战。此外，示范数据的动作平滑性与任务完成度的一致性保障，对数据采集流程设计提出了严格要求。

常用场景

经典使用场景

在机器人学习领域，record-lighter数据集为模仿学习算法的开发提供了重要支撑。该数据集通过SO101跟随机器人采集的50个完整任务轨迹，包含近2.5万帧多视角视觉观测与6自由度机械臂动作数据，为研究者构建从感知到控制的端到端策略模型奠定了数据基础。其特有的第一人称视角与俯视视角双摄像头配置，使得模型能够同时获取操作场景的局部细节与全局空间关系，极大提升了动作预测的准确性。

解决学术问题

该数据集有效解决了机器人模仿学习中样本效率低下与泛化能力不足的学术难题。通过提供高质量、多模态的演示数据，研究者能够开发出无需大量交互试错即可掌握复杂操作技能的学习算法。数据集中精确的时间戳与帧索引确保了动作序列的时序一致性，为研究连续控制任务中的动态建模问题提供了理想实验平台，推动了从演示数据中提取可迁移技能这一前沿方向的发展。

衍生相关工作

基于record-lighter数据集已衍生出多项机器人学习领域的经典研究。LeRobot框架利用该数据集开发了高效的离线强化学习算法，实现了从历史演示数据中提取最优策略的技术突破。后续工作进一步探索了跨视角视觉表征学习、多任务策略泛化等方向，其中时空注意力机制与分层策略网络等创新方法，均通过该数据集的严格验证，推动了视觉运动控制领域的理论发展与实践进步。