record-test

该数据集是一个机器人学任务的数据集，包含了一个名为LeRobot的机器人执行任务时的各种数据。数据集共有27个剧集，41648帧，1个任务。每个剧集被分为1000个数据块，数据文件大小为100MB，视频文件大小为500MB，视频帧率为30fps。数据集的结构包括动作、观察状态、顶部和手腕的图像、时间戳、帧索引等信息。所有数据文件均为.parquet格式，视频文件为.mp4格式。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 27
• 总帧数: 41648
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 分块大小: 1000

数据结构

数据划分

• 训练集: 包含全部27个回合

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

状态观测

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

顶部摄像头:

• 名称: observation.images.top
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图

腕部摄像头:

• 名称: observation.images.wrist
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图

索引字段

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• 论文: 待补充
• 主页: 待补充
• BibTeX: 待补充

搜集汇总

数据集介绍

构建方式

在机器人技术领域，record-test数据集通过LeRobot平台精心构建，采用SO101型跟随机器人采集真实环境下的交互数据。该数据集包含27个完整任务片段，总计41648帧数据，以30帧每秒的速率记录，数据以分块形式存储于Parquet文件中，每块容量为1000帧，确保了高效的数据管理与访问。

特点

该数据集融合了多维感知信息，不仅包含六自由度机械臂的关节位置动作数据，还整合了顶部与腕部双视角的高清视频流，分辨率达640x480像素。数据结构层次分明，涵盖时间戳、帧索引及任务标识等元数据，为机器人行为分析与模仿学习提供了丰富的时空上下文信息。

使用方法

研究人员可通过解析Parquet文件直接获取机器人状态观测与动作序列，结合附带的MP4视频文件实现多模态数据对齐。数据集已预划分为训练集，支持端到端的策略学习模型训练，其标准化特征格式便于集成至主流强化学习框架，加速机器人控制算法的开发与验证流程。

背景与挑战

背景概述

机器人学习领域近年来致力于开发能够适应复杂环境的智能体，record-test数据集作为LeRobot项目的重要组成部分，聚焦于机械臂操作任务的示范数据收集。该数据集通过集成多视角视觉观测与关节状态信息，构建了包含27个完整任务序列的示范库，其核心研究目标在于为模仿学习与强化学习算法提供真实世界的动作-状态对应关系。数据采集采用SO101型跟随机器人平台，以30Hz频率同步记录关节位置与双路视觉流，为机器人技能迁移研究奠定了实证基础。

当前挑战

在机器人操作任务领域，该数据集需解决高维连续动作空间与多模态感知的协同建模难题，其构建过程面临传感器时序对齐与数据冗余压缩的双重挑战。具体而言，六自由度机械臂的关节轨迹需与480p双路视频流保持毫秒级同步，而高达41,648帧的原始数据又需通过分块存储技术平衡存取效率。此外，动作空间的连续特性要求模型具备细粒度运动规划能力，而视觉观测中的光照变化与遮挡问题则进一步增加了感知模块的泛化难度。

常用场景

经典使用场景

在机器人学习领域，record-test数据集通过记录六自由度机械臂的关节位置与多视角视觉数据，为模仿学习算法提供了丰富的训练素材。该数据集捕捉了机械臂执行任务时的完整状态轨迹，包括肩部平移、肩部抬升、肘部弯曲等关节运动参数，配合顶部与腕部摄像头的实时画面，构建了动作-观察对的时序序列。研究者可利用这些同步记录的多模态数据，训练机器人从视觉输入到动作输出的端到端策略模型，实现精准的动作复现与技能迁移。

解决学术问题

该数据集有效解决了机器人模仿学习中动作表征与视觉感知的耦合难题。通过提供精确的关节空间坐标与同步视觉帧，研究者能够分析机械臂运动学约束下的动作生成机制，突破传统方法在动态环境适应性上的局限。其多模态特性支持跨模态表示学习研究，促进了对状态估计、动作预测等基础问题的探索，为具身智能系统的环境交互建模提供了标准化评估基准。

衍生相关工作

以该数据集为基础衍生了系列创新研究，包括基于时空注意力的动作预测网络架构，通过联合建模关节运动与视觉上下文提升长期动作规划精度。在元学习方向，研究者构建了跨任务策略迁移框架，利用数据集中统一表征的多任务数据实现快速适应新场景的能力。近期工作还探索了基于物理约束的动作修复算法，通过分析数据集中的运动学链数据，生成符合动力学规律的动作序列，显著提升了模仿学习的物理合理性。