record-test_plus

该数据集是使用LeRobot创建的机器人学数据集，适用于机器人相关任务。数据集采用Apache-2.0许可证，包含机器人状态和动作数据以及多视角图像观测。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集记录了so101_follower型机器人的动作（包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹持器位置）和状态观测（与动作相同的关节位置）。此外，还包含来自前视、腕部和上方三个视角的图像观测，每幅图像分辨率为480x640，3通道。数据集还提供了时间戳、帧索引、片段索引和任务索引等元数据。数据按块组织，每块包含1000个数据点。

原始信息汇总

数据集概述

基本信息

• 数据集名称： record-test_plus
• 创建工具： LeRobot (https://github.com/huggingface/lerobot)
• 许可证： Apache-2.0
• 任务类别： 机器人学
• 标签： LeRobot

数据集规模与结构

• 总情节数： 4
• 总帧数： 1646
• 总任务数： 1
• 数据块大小： 1000
• 数据文件大小： 100 MB
• 视频文件大小： 200 MB
• 帧率： 30 FPS
• 数据分割： 训练集 (0:4)
• 数据文件路径模式： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式： videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型： float32
• 形状： [6]
• 名称：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型： float32
• 形状： [6]
• 名称：
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测图像（前视）

• 数据类型： video
• 形状： [480, 640, 3]
• 维度名称： height, width, channels
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编解码器：h264
  • 像素格式：yuv420p
  • 是否为深度图：否
  • 帧率：30
  • 通道数：3
  • 包含音频：否

观测图像（腕部）

• 数据类型： video
• 形状： [480, 640, 3]
• 维度名称： height, width, channels
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编解码器：h264
  • 像素格式：yuv420p
  • 是否为深度图：否
  • 帧率：30
  • 通道数：3
  • 包含音频：否

观测图像（上方）

• 数据类型： video
• 形状： [480, 640, 3]
• 维度名称： height, width, channels
• 视频信息：
  • 高度：480
  • 宽度：640
  • 编解码器：h264
  • 像素格式：yuv420p
  • 是否为深度图：否
  • 帧率：30
  • 通道数：3
  • 包含音频：否

其他特征

• 时间戳： 数据类型 float32，形状 [1]
• 帧索引： 数据类型 int64，形状 [1]
• 情节索引： 数据类型 int64，形状 [1]
• 索引： 数据类型 int64，形状 [1]
• 任务索引： 数据类型 int64，形状 [1]

元数据

• 代码库版本： v3.0
• 机器人类型： so101_follower

引用信息

• 主页： [More Information Needed]
• 论文： [More Information Needed]
• BibTeX： [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据集的构建往往依赖于实际物理系统的交互记录。record-test_plus数据集通过LeRobot平台，采集了so101_follower机器人在执行任务过程中的多模态数据。该数据集以Parquet格式存储，包含4个完整的情节，总计1646帧，数据以分块形式组织，每块约1000帧，确保了高效的数据访问与处理。视频数据以MP4格式保存，帧率为30fps，分辨率统一为640x480，涵盖了机器人前视、腕部和顶部三个视角的视觉信息，同时记录了六自由度机械臂的关节位置状态与时间戳等关键元数据。

特点

该数据集展现了机器人操作任务中典型的多模态特性，融合了高维连续动作空间与丰富的视觉观测。其核心特征在于同步采集了机器人的关节位置控制指令与三路高清视频流，形成了状态-动作-观测的完整对应关系。数据结构设计精良，通过明确的特征字段定义了动作向量、状态观测及图像序列的维度与类型，便于直接用于强化学习或模仿学习算法的训练。数据集的规模虽小但结构清晰，特别适合用于算法原型验证与模型调试，为机器人控制研究提供了高质量的基准测试资源。

使用方法

研究人员可利用该数据集进行机器人视觉伺服控制、行为克隆或离线强化学习等任务的探索。数据以标准化的Parquet文件提供，支持通过Hugging Face数据集库或Pandas等工具直接加载。使用时应依据meta/info.json中的路径规范访问数据块，并注意数据已预设为训练集划分。典型的处理流程包括读取动作与状态序列，并同步解码对应的多视角视频帧，以构建时空对齐的训练样本。由于数据集包含精确的时间戳与帧索引，便于进行时序建模与动态分析，为算法开发提供了灵活而坚实的基础。

背景与挑战

背景概述

在机器人学习领域，高质量的数据集对于推动模仿学习与强化学习算法的进步至关重要。record-test_plus数据集由HuggingFace的LeRobot项目创建，旨在为机器人操作任务提供多模态交互数据。该数据集聚焦于机械臂控制，通过整合关节状态、多视角视觉信息与时间序列数据，为研究者构建端到端的机器人策略模型奠定了实证基础。其设计体现了当前机器人学中数据驱动范式的发展趋势，致力于解决真实世界环境中机器人感知与动作生成的复杂映射问题。

当前挑战

该数据集旨在应对机器人操作任务中的模仿学习挑战，即如何从多模态观测中学习稳健且泛化性强的控制策略。具体而言，挑战包括处理高维视觉与状态空间的异构数据对齐、在动态环境中保证时间序列的一致性，以及从有限演示中泛化到未见场景。在构建过程中，面临数据采集的同步性与完整性难题，需确保多摄像头视频流与关节状态数据的精确对齐，同时维持数据规模与质量的平衡，以支持有效的模型训练。

常用场景

经典使用场景

在机器人学领域，record-test_plus数据集为模仿学习与强化学习算法的训练与评估提供了关键支持。该数据集通过记录机器人执行任务时的多视角图像、关节状态及动作序列，构建了丰富的交互轨迹。研究人员可基于这些轨迹训练智能体学习从视觉输入到动作输出的映射策略，典型应用包括机械臂的抓取与放置任务，从而推动机器人自主操作能力的发展。

解决学术问题

该数据集有效应对了机器人控制研究中数据稀缺与多模态融合的挑战。通过提供同步的视觉观测与精确的动作标签，它支持端到端策略学习模型的开发，解决了传统方法中感知与控制模块割裂的问题。其结构化数据格式便于算法复现与比较，促进了模仿学习、视觉伺服及多任务学习等前沿方向的实证研究，为机器人智能化的理论探索奠定了数据基础。

衍生相关工作

围绕record-test_plus数据集，已衍生出多项经典研究工作，主要集中在视觉-动作联合建模与跨模态表示学习领域。例如，基于该数据集的轨迹预测模型改进了机器人长期规划能力；同时，生成对抗网络被用于数据增强以扩展训练样本多样性。这些工作不仅推动了机器人学习算法的创新，也为开源机器人社区提供了可复现的基准测试框架。