record-test

该数据集使用LeRobot创建，包含机器人任务的相关数据。数据集的许可为Apache-2.0。数据集结构包括50个剧集，共24688帧，1个任务。数据以Parquet文件格式存储，视频文件为AV1编码的MP4格式，不包含音频。数据集提供了多种特征，包括机器人的状态、动作、头部和手部的图像等。

原始信息汇总

数据集概述

基本信息

• 名称: record-test
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总情节数: 50
• 总帧数: 24688
• 总任务数: 1
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS

数据结构

• 数据格式: Parquet
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 训练集划分: 0:50

特征字段

观测数据

• observation.state:

  • 数据类型: float32
  • 形状: [6]
  • 维度名称: dim_0, dim_1, dim_2, dim_3, dim_4, dim_5

• observation.images.head:

  • 数据类型: video
  • 形状: [480, 640, 3]
  • 维度名称: height, width, channel
  • 视频信息: 480p分辨率, AV1编码, 30FPS, 无音频

• observation.images.hand:

  • 数据类型: video
  • 形状: [480, 640, 3]
  • 维度名称: height, width, channel
  • 视频信息: 480p分辨率, AV1编码, 30FPS, 无音频

动作数据

• action:
  • 数据类型: float32
  • 形状: [6]
  • 维度名称: dim_0, dim_1, dim_2, dim_3, dim_4, dim_5

元数据

• timestamp: float32, 形状[1]
• frame_index: int64, 形状[1]
• episode_index: int64, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

技术规格

• 代码库版本: v3.0
• 机器人类型: xlerobot
• 视频编解码器: AV1
• 像素格式: yuv420p
• 深度图: 否

搜集汇总

数据集介绍

构建方式

在机器人技术领域，record-test数据集通过LeRobot平台系统性地采集了50个完整交互片段，涵盖24688帧数据。数据以分块存储机制组织，每1000帧形成一个数据块，采用Parquet格式高效保存观测状态、动作指令及多视角图像流。视频数据以AV1编码存储，包含头部与手部双视角的480x640分辨率RGB图像，以30fps的时序精度同步记录机器人状态与视觉信息。

特点

该数据集展现了多模态机器人数据的典型特征，其观测状态与动作空间均呈现为6维浮点向量，精确刻画了机器人的动态行为。视觉数据包含头部固定视角与手部 egocentric 视角的双路同步视频流，为具身智能研究提供了丰富的环境交互信息。数据集采用统一的时间戳索引机制，支持跨模态数据的精确对齐，帧索引与回合索引的层级结构为强化学习算法提供了完整的轨迹建模基础。

使用方法

研究人员可通过加载Parquet数据文件直接访问结构化观测与动作序列，利用帧索引实现跨模态数据检索。视频数据可通过指定视频键与分块索引进行流式加载，适用于行为克隆、逆强化学习等算法训练。数据集已预划分为训练集，支持端到端的机器人策略学习 pipeline 构建，其标准化接口兼容主流深度学习框架，便于开展机器人感知控制一体化研究。

背景与挑战

背景概述

机器人学习领域正经历从仿真环境向真实世界迁移的关键转型，record-test数据集作为LeRobot项目的重要组成部分，通过整合多模态传感器数据为机器人策略学习提供支撑。该数据集包含50个完整交互序列，涵盖24688帧高分辨率视觉观测与六维动作空间，其结构化特征设计体现了对机器人状态估计与控制任务的深度优化。

当前挑战

在机器人操作任务中，该数据集需解决高维视觉观测与连续动作空间的复杂映射问题，同时应对真实环境中光照变化与机械臂运动不确定性的干扰。数据构建过程面临多传感器时序对齐、大规模视频数据压缩存储等技术难点，且需保持不同观测视角间数据一致性与完整性。

常用场景

经典使用场景

在机器人学习领域，record-test数据集通过多模态观测数据与动作序列的精确对应，为模仿学习算法提供了标准化训练环境。其包含的头部与手部双视角视频流，配合六维状态空间数据，能够有效模拟真实场景中机器人的感知决策过程。这种结构化数据组织方式特别适用于端到端策略网络的训练，使模型能够从原始传感器输入直接映射到关节控制指令。

实际应用

在实际部署中，该数据集支撑的算法可应用于工业自动化领域的精细操作任务。基于头部与手部视觉反馈的协同控制模型，能够指导机械臂完成精密装配、物料分拣等复杂作业。其30Hz高频采样的动作序列数据，特别适合训练实时响应要求的服务机器人系统，为智慧物流、智能仓储等场景提供核心技术支持。

衍生相关工作

围绕该数据集的特性，学术界衍生出多项创新研究。基于其多模态特征融合的层次化策略网络架构，推动了机器人感知与控制一体化建模的发展。部分研究利用其连续帧序列开发了新型时序预测模型，另有工作通过迁移学习将预训练策略适配到不同形态的机器人平台，显著拓展了数据集的适用范围与学术价值。