dataset-robot-v7

该数据集是使用LeRobot平台创建的机器人数据集，适用于机器人学习与控制任务。数据集包含42个完整的任务执行序列（episodes），总计35159个数据帧。数据以Parquet文件格式存储，并附有对应的视频文件。核心数据特征包括：1）一个6维的机器人动作向量，控制肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置；2）一个6维的机器人状态观测向量，与动作向量具有相同的关节位置维度；3）来自两个摄像头的视频观测，分别位于顶部和手腕位置，每个视频的分辨率为480x640，RGB三通道，帧率为30fps。此外，数据集还包含时间戳、帧索引、episode索引、任务索引等元数据字段，用于标识数据在序列中的位置。数据集仅提供了训练集划分。该数据集旨在支持机器人模仿学习、强化学习或行为克隆等研究。This dataset is a robotics dataset created using the LeRobot platform, suitable for robot learning and control tasks. It contains 42 complete task execution episodes, totaling 35,159 data frames. The data is stored in Parquet format along with corresponding video files. Key features include: 1) a 6-dimensional robot action vector controlling shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position; 2) a 6-dimensional robot state observation vector with the same joint position dimensions as the action vector; 3) video observations from two cameras positioned at the top and wrist, each with a resolution of 480x640, RGB three-channel, and a frame rate of 30fps. Additionally, the dataset includes metadata fields such as timestamps, frame indices, episode indices, and task indices to identify the datas position within sequences. Only a training set split is provided. The dataset aims to support research in robot imitation learning, reinforcement learning, or behavior cloning.

原始信息汇总

数据集概述

• 数据集名称: dataset-robot-v7
• 许可证: Apache-2.0
• 任务类别: 机器人技术 (robotics)
• 标签: LeRobot
• 创建工具: 基于 LeRobot 创建

数据集结构

• 代码库版本: v3.0
• 机器人类型: so_follower
• 总片段数: 42
• 总帧数: 35,159
• 总任务数: 1
• 块大小: 1,000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率 (FPS): 30
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据集划分

• 训练集: 片段索引 0 至 42 (全部数据)

特征字段

字段名称	数据类型	形状	说明
action	float32	[6]	机器人动作指令，包含6个关节位置 (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper)
observation.state	float32	[6]	机器人观测状态，包含6个关节位置 (与action名称相同)
observation.images.top	video	[480, 640, 3]	顶部摄像头视频，分辨率480×640，3通道，H.264编码，30 FPS，无深度信息，无音频
observation.images.wrist	video	[480, 640, 3]	腕部摄像头视频，分辨率480×640，3通道，H.264编码，30 FPS，无深度信息，无音频
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

搜集汇总

数据集介绍

构建方式

dataset-robot-v7 数据集依托于 LeRobot 框架构建，专为机器人学习研究设计。其数据以 Parquet 格式存储于 'data' 目录下的分块文件中，视频数据则以 MP4 格式存放于 'videos' 文件夹内。整个数据集包含 42 个完整轨迹，共计 35159 帧画面，由双臂协作机器人 so_follower 在单一任务场景下采集，训练集覆盖全部轨迹。动作与观测状态均以 6 维浮点向量记录，涵盖肩部、肘部、腕部及夹爪的位姿信息，同时提供 30 帧率的高清顶视与腕部视频流，确保了数据的跨模态一致性。

特点

该数据集以多模态融合为显著亮点，同步记录了关节级的机器人动作、状态及双视角视频，为模仿学习与行为克隆任务提供了坚实的数据基础。其压缩与分块存储策略（每组 1000 帧）不仅优化了加载效率，更降低了大规模存储开销。所有视频采用 H.264 编码，兼顾画质与压缩比，配合完整的元信息（如时间戳、帧序号与任务索引），便于研究者精准定位特定轨迹片段。Apache-2.0 许可证的采用，则最大限度地保障了学术与工业界的自由使用与二次开发。

使用方法

用户可通过 Hugging Face 提供的可视化空间直接预览轨迹，快速评估数据质量。在代码层面，推荐使用 LeRobot 库加载该数据集，利用其内置的 DataLoader 实现高效的批量读取与数据增强。具体使用时，可调用 'load_dataset' 函数并指定 'LohanTS/dataset-robot-v7' 名称，系统将自动解析 Parquet 文件中的动作、状态序列及关联视频帧。针对机器人学习任务，可将 action 字段作为模型输出标签，将 observation.state 与 observation.images 作为输入特征，便捷地构建端到端训练管线。

背景与挑战

背景概述

机器人学习领域正经历着从传统控制算法向数据驱动方法的深刻转型，大规模高质量机器人数据集成为推动具身智能发展的关键基石。dataset-robot-v7数据集由LohanTS团队于近期创建，依托Hugging Face LeRobot开源框架构建，专为模仿学习与机器人操作任务设计。该数据集聚焦于so_follower机器人平台，通过42个完整操作回合、35,159帧的高频记录（30 FPS），捕捉了6自由度关节动作与状态信息，并辅以640×480分辨率的多视角视觉流（顶部与腕部摄像头）。其核心研究问题在于为机器人如何从少量示范中学得精准的物体操控策略提供标准化训练范例，尤其关注细粒度动作复制与泛化能力。作为LeRobot生态的重要补充，该数据集为复现与比较各类模仿学习算法（如行为克隆、扩散策略）提供了可量化基准，对推动低成本、开放源码的机器人数据采集与算法验证范式具有示范意义，正逐步成为连接仿真预训练与真实部署的关键枢纽。

当前挑战

当前机器人操作学习面临的核心挑战在于从有限示范中高效提取可泛化的动作表征。该数据集虽提供了高保真度运动学与视觉数据，但仅含单一任务与42个回合，样本容量有限，模型易陷入对特定轨迹的过拟合，难以迁移至未见物体位姿或环境扰动。构建过程中，视觉数据以H.264编码存储，虽节省空间却引入了有损压缩导致的纹理模糊与伪影，可能干扰视觉策略对精细操作的感知。同时，六轴关节数据与相机观测间的时序同步精度、人手遥操作的示教噪声，以及单一固定视场角对深度线索的缺失，共同构成了从数据采集到策略学习的技术壁垒。此外，动作状态的一致性验证缺乏标准化工具，跨机器人平台的物理参数差异亦使得该数据集的直接复用需额外的域适应处理，制约了其在更广泛机器人生态中的即插即用性。

常用场景

经典使用场景

dataset-robot-v7 数据集在机器人学习领域扮演着举足轻重的角色，其经典的使用场景聚焦于模仿学习与行为克隆任务。该数据集包含了由 SO Follower 机器人采集的 42 个演示回合，共计超过 3.5 万帧的高保真运动轨迹与多视角视觉观测数据，涵盖了六自由度关节空间的动作序列以及自上而下和腕部摄像头的同步视频流。研究者可以基于这些精心对齐的状态-动作对，训练深度神经网络模型来端到端地复现专家策略，从而完成精细的操控技能习得。尤为重要的是，数据集中提供的连续时间戳和帧索引信息，为时间序列建模和闭环控制策略的优化提供了坚实的实验基础。

衍生相关工作

围绕 dataset-robot-v7 数据集，学术社区衍生出了一系列具有影响力的经典工作。在算法层面，有研究基于该数据探索了基于 Transformer 的决策架构，将视觉与关节状态序列作为联合输入进行策略预测，显著提升了长程任务的成功率。同时，数据增强与域随机化技术被引入以增强模型的鲁棒性，催生了多篇关于高效数据利用和跨任务泛化的顶会论文。此外，LeRobot 框架本身也依托该数据集构建了完整的训练与评估基准，并发布了相应的预训练模型权重，形成了包括行为克隆、扩散策略和强化学习微调在内的丰富方法库，成为机器人学入门研究者借鉴与扩展的重要参考平台。

数据集最近研究

最新研究方向

dataset-robot-v7数据集聚焦于机器人模仿学习前沿，依托LeRobot框架，采集了SO-Follower机械臂在单任务场景下的42个示范片段，涵盖35159帧高保真状态-动作序列与双视角视觉流（顶部与腕部摄像头，30FPS）。该数据集为研究基于视觉的运动策略泛化、小型样本高效模仿及双臂协同控制提供了干净的基准，反映了当前机器人学习领域从仿真向真实观测数据迁移的迫切需求，对推动具身智能在精细化操作任务中的落地具有重要意义。