record-test

这是一个关于机器人学的数据集，使用LeRobot创建。它包含2个总剧集，297个总帧数，1个总任务，4个视频和1个数据块。数据集的结构包括动作、状态观察、右侧图像、顶部图像、时间戳、帧索引、剧集索引、索引和任务索引等特征。所有数据都遵循Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so100_follower
• 总集数: 2
• 总帧数: 297
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:2

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测图像 (observation.images.right 和 observation.images.top):
  • 数据类型: video
  • 形状: [720, 1280, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 720
    • 宽度: 1280
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 帧率: 30 fps
    • 通道数: 3
    • 音频: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，高质量的数据集对于算法训练和系统验证至关重要。record-test数据集依托LeRobot开源框架构建，采用模块化设计理念，通过SO100型机器人平台采集多模态操作数据。数据以30fps的采样频率记录，包含297帧操作序列，涵盖机械臂关节位置、视觉观测等核心维度，并以分块存储的Parquet格式高效组织，每个数据块容量设计为1000帧，确保大规模数据的高效存取。

特点

该数据集展现出鲜明的多模态特性，同步整合六自由度机械臂的关节角度控制信号（shoulder_pan至gripper）与双视角视觉数据（720p分辨率RGB图像）。时空对齐机制通过精确的时间戳和帧索引实现，动作与观测状态采用相同维度浮点数组表征，为模仿学习提供天然对应关系。特别值得注意的是，视频流采用AV1编解码器以YUV420p格式压缩，在保证视觉质量的同时显著降低存储开销。

使用方法

使用者可通过解析meta/info.json获取数据组织结构，按照'data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet'路径模式加载具体数据块。视频数据存储在独立目录，支持按帧索引关联操作指令与视觉观测。训练集划分明确包含全部2个任务片段，研究者可基于PyTorch或TensorFlow构建数据管道，利用动作-观测对开发行为克隆或强化学习算法，双摄像头视角为视觉伺服控制提供丰富输入源。

背景与挑战

背景概述

record-test数据集由LeRobot项目团队构建，专注于机器人技术领域的研究与应用。该数据集旨在通过记录机器人执行任务时的多模态数据，如关节位置、视觉观察和时间戳等，为机器人控制算法的开发与验证提供支持。数据集采用Apache-2.0许可协议，包含了2个完整任务执行序列，共297帧数据，涵盖6自由度机械臂的动作状态与720p高清视频流。其结构化存储格式与丰富的元数据标注，为机器人学习算法的训练与评估奠定了数据基础。

当前挑战

该数据集面临的挑战主要体现在两方面：在领域问题层面，如何从有限的任务样本中提取泛化性强的控制策略，以及如何处理高维视觉观察与低维动作空间之间的复杂映射关系；在构建过程层面，多传感器数据的同步采集与标定、大规模视频数据的高效存储与检索，以及任务执行过程中环境动态变化的完整记录，均为数据集构建的关键技术难点。此外，数据集的规模扩展与任务多样性提升，亦是未来需要突破的方向。

常用场景

经典使用场景

在机器人控制与行为学习领域，record-test数据集以其多模态数据结构和精确的动作记录，成为研究机器人动作规划与执行的经典资源。该数据集通过整合关节位置数据、视觉观测信息及时间戳标记，为研究者提供了机器人执行任务时的高保真状态记录，特别适用于模仿学习与强化学习算法的训练与验证。

解决学术问题

该数据集有效解决了机器人学中动作-状态映射建模的挑战，为研究连续控制策略的泛化能力提供了实证基础。通过包含6自由度机械臂的精确位置数据和同步视觉反馈，研究者能够深入分析动作序列与观测状态间的动态关系，填补了传统仿真环境与真实机器人数据间的语义鸿沟。

衍生相关工作

基于该数据集的多模态特性，已衍生出多项关于跨模态表示学习的创新研究。部分工作聚焦于视觉观测与动作序列的时空对齐方法，另一些则探索了基于注意力机制的状态预测模型，这些研究共同推动了具身智能领域的数据驱动范式发展。