record-test

该数据集是使用LeRobot平台创建的机器人学数据集，适用于机器人控制与模仿学习任务。数据集包含150个完整的任务执行序列（episodes），总计83,437帧数据，涵盖4种不同的任务。数据规模约为100MB（数据文件）和200MB（视频文件）。数据以Parquet文件格式组织，视频文件为MP4格式。数据集仅提供训练集。每个样本包含以下关键特征字段：action（6维浮点向量表示机器人关节位置指令）、observation.state（6维浮点向量表示当前关节位置状态）、observation.images.side和observation.images.top（侧视和俯视RGB视频观测，分辨率480x640，3通道，帧率30fps，AV1编码）、timestamp（时间戳）、frame_index、episode_index、index、task_index（索引字段）。该数据集适用于机器人策略学习、行为克隆、强化学习等研究，特别是针对多视角视觉观测与关节状态控制的任务。

原始信息汇总

数据集概述

• 数据集名称：record-test
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot
• 创建工具：使用 LeRobot 创建

数据集规模

• 总片段数：180
• 总帧数：96768
• 总任务数：4
• 分块大小：1000
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 帧率：30 FPS

数据集划分

• 训练集：片段索引 0 至 179（共 180 个片段），无验证集/测试集

机器人类型

• 机器人型号：so_follower

特征结构

• 动作（action）：6 维浮点向量，包含肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置
• 观测状态（observation.state）：6 维浮点向量，与动作维度对应，包含肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置
• 观测图像：
  • 侧方摄像头（observation.images.side）：480×640 像素，3 通道，AV1 编码，30 FPS，YUV420P 格式，非深度图，无音频
  • 顶部摄像头（observation.images.top）：480×640 像素，3 通道，AV1 编码，30 FPS，YUV420P 格式，非深度图，无音频
• 时间戳：浮点型，形状为 [1]
• 帧索引：64 位整型，形状为 [1]
• 片段索引：64 位整型，形状为 [1]
• 全局索引：64 位整型，形状为 [1]
• 任务索引：64 位整型，形状为 [1]

数据存储路径

• 数据文件：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

• BibTeX：暂缺，需等待补充

搜集汇总

数据集介绍

构建方式

record-test数据集基于Hugging Face的LeRobot框架构建，专为机器人模仿学习研究设计。该数据集通过遥操作或自主采集方式，记录了SO Follower机械臂在执行4种不同任务时的完整轨迹数据。数据以Parquet格式存储，包含180个独立片段（episodes），共计96,768帧，帧率为30 FPS。每个片段的结构化信息被分块存储于data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet文件中，而对应的视觉观测数据则压缩为AV1编码的MP4视频文件，保存在videos目录下。所有数据均遵循统一的元信息格式，由info.json文件定义特征类型与维度。

特点

该数据集的核心特点在于其多维异构数据的完整对齐与精细标注。每个时间步均包含6维浮点型机器人状态向量（关节角度与夹爪位置）及对应的动作指令，实现了观测与动作的空间一致。视觉方面，数据集提供了侧方与顶部两个视角的RGB视频流，分辨率均为640×480像素，为研究多视角融合与视觉运动策略提供了基础。此外，数据集中还精确记录了时间戳、帧索引、片段索引及任务索引，支持时序建模与多任务学习的灵活采样。数据集被划分为单一训练集（片段0至179），总大小约为300 MB，兼顾了数据多样性与磁盘存储效率。

使用方法

使用record-test数据集时，推荐通过LeRobot库进行高效加载与预处理。用户可首先利用lerobot.common.datasets.lerobot_dataset接口读取info.json中的特征描述，随后使用PyArrow或Pandas解析Parquet文件以获取动作、状态及索引数据。对于视频流，建议采用OpenCV或PyAV解码AV1编码的MP4文件，并依据frame_index与episode_index字段对齐到对应的状态序列。在训练阶段，可按任务索引筛选子集，并利用chunks_size（1000帧/块）参数实现流式读取，避免一次性加载全部数据。最终，动作与状态序列可直接用于行为克隆或扩散策略等模仿学习模型的输入，支持单步或多步预测任务。

背景与挑战

背景概述

record-test数据集是由HuggingFace团队基于LeRobot框架创建的机器人操控数据集，旨在为机器人学习领域提供标准化的训练与评估资源。该数据集于近期发布，聚焦于so_follower型机械臂在多种任务中的动作与状态记录，涵盖180个训练回合、超过9.6万帧数据及4种不同任务，并包含侧方与顶部双视角视频流。其核心研究问题在于推动模仿学习与强化学习在真实机器人操控中的应用，通过提供高频率（30 FPS）多模态数据，促进算法对复杂操控技能的泛化能力。作为LeRobot生态系统的重要组成部分，该数据集以Apache-2.0许可开源，降低了机器人研究的数据门槛，有望加速从仿真到真实环境的迁移学习研究，对具身智能领域具有显著影响力。

当前挑战

数据集所解决的领域问题核心挑战在于机器人操控任务中的高维状态空间与动作连续性问题，传统方法依赖手工特征设计，难以泛化至未知场景；record-test通过提供6维关节状态与双视角视觉观测，为端到端学习算法提供了标准化数据管道。构建过程中面临的主要挑战包括：数据采集的物理安全性与重复性，确保机械臂在180个不同回合中动作轨迹的多样性与稳定性；视频编码格式（AV1）的高压缩率与低延迟同步问题，协调多摄像头30 FPS帧率与传感器流；以及跨任务场景的数据标注一致性，需在4种不同任务中维持动作标签的无歧义性。此外，大规模视频与Parquet混合存储格式的优化，也考验着数据加载效率与HuggingFace Datasets库的兼容性。

常用场景

经典使用场景

在机器人学习与模仿学习领域，record-test数据集承载着从人类演示中习得精细操控技能的经典使命。该数据集利用LeRobot框架采集，包含了180个演示片段、近十万帧时序数据，覆盖4类任务，其数据结构精妙地融合了六维关节动作指令、机器人状态序列以及来自侧方与顶部双视角的高清视觉观测。研究者常将其作为行为克隆、逆强化学习等算法的基准测试平台，通过观测图像与状态序列的联合建模，探索机器人从示教中泛化复杂运动策略的奥秘。

衍生相关工作

该数据集为机器人学习社区衍生了一系列具有深远影响的开创性工作。基于其标准化的数据格式与LeRobot生态，研究者构建了跨任务模仿学习基线，验证了多任务联合训练对策略泛化的提升作用。此外，该数据集启发了面向状态-视觉融合的注意力机制设计以及时序对比学习预训练方法，相关成果被后续工作广泛引用。其公开的高质量演示数据还推动了机器人基础模型的初步探索，如利用大规模预训练编码器从视觉流中提取通用操控特征，显著降低了下游任务的数据需求。

数据集最近研究

最新研究方向

该数据集聚焦于机器人模仿学习领域的前沿探索，通过LeRobot框架采集了180个操作片段，涵盖4类任务，并记录6维关节动作与状态信息，辅以双视角视频流（侧方与顶部，30FPS，AV1编码）。当前研究热点集中于利用此类高保真人机交互数据训练通用型操作策略，推动机器人从单一任务向多任务泛化跃进。结合近期具身智能热潮，该数据集为解耦动作与视觉表征、探索隐式行为克隆与扩散策略在精细操控中的有效性提供了宝贵素材，其公开化进程将加速学术界与工业界在低成本、可复现的机器人学习基准上的协同创新。