record-test

LeRobot数据集是一个专注于机器人学的数据集，包含了一个机器人（so101_follower类型）的1个剧集，共73帧，1个任务，2个视频和1个片段。数据集以Parquet文件格式存储，并提供了相关的视频文件。数据集中的特征包括机器人的动作位置、观察状态、前视摄像头和机械爪摄像头的图像等。该数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 数据文件: data//.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: so101_follower
• 总集数: 1
• 总帧数: 73
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• observation.images.front:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• observation.images.gripper_cam:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 是否有音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，高质量数据的采集与处理对于模型训练至关重要。record-test数据集依托LeRobot平台构建，通过记录so101_follower型机器人的实际运行数据，采用分块存储策略将73帧时序数据整合为1个完整片段，并以30fps的采样率同步保存多模态观测信息。数据以标准化parquet格式组织，确保高效存取与跨平台兼容性。

特点

该数据集显著特点在于其多维度的机器人交互信息捕获能力，不仅包含6自由度关节动作的浮点型数值记录，还同步采集前端摄像头与夹爪摄像头的双视角视频流，每帧图像分辨率达640×480。数据字段涵盖时间戳、帧索引及任务标识等元数据，形成结构化的时空关联体系，为模仿学习与行为克隆研究提供丰富上下文。

使用方法

研究者可通过解析parquet文件中的特征字段获取机器人状态与动作序列，配合视频路径字段调用对应的视觉观测数据。数据集采用Apache 2.0开源协议，支持直接加载至主流机器学习框架进行端到端训练。建议按照帧索引重建时序关系，利用动作-观测配对数据开发机器人控制策略，或通过视频流开展计算机视觉任务研究。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习方向取得显著进展，record-test数据集作为LeRobot项目的重要组成部分，专注于机械臂操作任务的视觉-动作映射研究。该数据集通过so101_follower型机器人采集多模态交互数据，包含关节状态、双视角视觉观测与精确动作指令的时序对齐记录，为机器人行为克隆与策略学习提供了高质量的示范数据。其采用Apache 2.0开源协议，体现了学术界对可复现机器人学习研究的持续推动。

当前挑战

该数据集核心挑战在于解决高维连续动作空间下的机械臂精细操作问题，需实现从多视角视觉输入到六自由度关节控制的精确映射。构建过程中面临多传感器时序同步、大规模视频数据压缩存储、以及真实环境动作标注一致性等工程挑战。特别需要克服不同光照条件下视觉特征稳定性与机械臂运动学约束之间的耦合问题，确保示范数据的可用性与泛化能力。

常用场景

经典使用场景

在机器人学习领域，record-test数据集作为LeRobot项目的重要组成部分，主要用于机器人行为模仿与策略学习的训练场景。该数据集通过记录六自由度机械臂的关节位置状态与双视角视觉观测数据，为机器人动作生成模型提供了多模态的演示数据，典型应用于端到端的机器人控制策略建模。

解决学术问题

该数据集有效解决了机器人模仿学习中演示数据稀缺与多模态对齐的学术难题。通过提供精确的时间同步关节运动数据与视觉观测序列，研究者能够深入探索状态-动作映射关系、跨模态表征学习等核心问题，对推动机器人行为克隆与强化学习算法的融合发展具有重要理论价值。

衍生相关工作

围绕该数据集衍生的经典工作包括基于时空注意力的行为预测模型、多传感器融合的模仿学习框架等。这些研究不仅拓展了视觉-动作联合建模的理论深度，还催生了诸如分层强化学习、元策略迁移等创新方法，为机器人学习社区提供了重要的算法基准与验证平台。