vr_two_task

该数据集是使用LeRobot框架创建的机器人操作数据集，属于机器人学领域，适用于机器人模仿学习和策略学习等任务。数据集包含115个episodes，总计134,486帧，对应一个单一任务，以30 fps的帧率采集，全部划分为训练集。数据以Parquet格式存储结构化数据，MP4格式存储视频数据。每个数据样本包括动作（一个12维浮点向量，表示左右机械臂各6个关节的位置指令，关节包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪）、状态观测（一个12维浮点向量，表示与动作相同的12个关节的实际位置）、图像观测（来自左主摄像头和右腕部摄像头的RGB视频流，分辨率均为240x320），以及时间戳、帧索引、episode索引、全局索引和任务索引。数据集采用Apache-2.0许可证。

This dataset is a robotic manipulation dataset created using the LeRobot framework, belonging to the field of robotics and suitable for tasks such as robot imitation learning and policy learning. It contains 115 episodes, totaling 134,486 frames, corresponding to a single task, collected at a frame rate of 30 fps and entirely divided into a training set. The data is stored in Parquet format for structured data and MP4 format for video data. Each data sample includes an action (a 12-dimensional floating-point vector representing position commands for 6 joints per arm, including shoulder translation, shoulder lift, elbow bend, wrist bend, wrist rotation, and gripper), state observation (a 12-dimensional floating-point vector representing the actual positions of the same 12 joints), image observations (RGB video streams from the left main camera and right wrist camera, both with a resolution of 240x320), as well as timestamp, frame index, episode index, global index, and task index. The dataset uses the Apache-2.0 license.

原始信息汇总

数据集概述

• 数据集名称: kmg0620/vr_two_task
• 许可证: Apache-2.0
• 任务类型: 机器人技术（Robotics）
• 标签: LeRobot、TeLeRobot
• 数据集创建工具: LeRobot

数据集详情

• 机器人类型: bi_so_follower
• 总片段数: 115
• 总帧数: 134486
• 总任务数: 1
• 区块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• FPS: 30
• 数据路径格式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径格式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据集分割

分割	范围
训练	0:115

数据集特征

动作（Action）

• 数据类型: float32
• 形状: [12]
• 命名维度: 包含左右机械臂的肩关节、肘关节、腕关节、夹爪的位置信息（共12个）

观察状态（Observation State）

• 数据类型: float32
• 形状: [12]
• 命名维度: 与动作特征相同的12个关节位置信息

观察图像（Observation Images）

• left_main 摄像头
  • 数据类型: 视频
  • 形状: 240×320×3
  • 编码: h264
  • 像素格式: yuv420p
  • FPS: 30
• right_right_wrist 摄像头
  • 数据类型: 视频
  • 形状: 240×320×3
  • 编码: h264
  • 像素格式: yuv420p
  • FPS: 30

其他特征

• timestamp: float32，形状 [1]
• frame_index: int64，形状 [1]
• episode_index: int64，形状 [1]
• index: int64，形状 [1]
• task_index: int64，形状 [1]

搜集汇总

数据集介绍

构建方式

在机器人学习领域中，高质量的数据集对于训练具备稳健操作能力的模型至关重要。该数据集基于LeRobot框架构建，由双机械臂系统“bi_so_follower”在真实物理环境中执行任务时采集而成。数据采集过程涵盖115个完整任务环节，共计134,486帧时序数据，以30帧每秒的采样频率同步记录。指令与状态信息通过12维动作向量精确描述左右双臂的关节角度与夹爪位置，而视觉观测则由两台分辨率为240×320的摄像头分别从左侧主视角和右侧腕部视角同时捕获，形成多模态感知流。

特点

该数据集最显著的特点在于其结构化的分层存储架构与高度精简的任务设计。尽管包含多个异构数据源——包括关节状态序列、H.264编码的压缩视频流及时间戳元数据，所有数据均被规整至统一的Parquet格式下，并以100MB为单位的块文件组织，便于分布式读取与流式训练。此外，数据集虽仅单一任务类型，但其精心编排的动作空间与多视角视觉输入为模仿学习中的状态表征和长程依赖建模提供了理想的基准平台。视频与表格数据分离存储的设计亦大幅降低了数据加载时的内存占用。

使用方法

依托LeRobot生态系统的深度集成，该数据集的使用极为便捷。研究人员可通过LeRobot的标准化数据加载接口直接读取DataFrame格式的轨迹数据，并利用其内置的视觉化工具在HuggingFace Spaces上交互式预览每个任务片段的图像与动作序列。在模型开发过程中，建议将全部115个片段划分为训练集，而无需单独预留验证子集。数据读取时，系统会自动依据meta/info.json中声明的路径模式（data/chunk-{chunk_index}/file-{file_index}.parquet）索引数据块，并支持对动作、状态、图像帧等特征字段的按需选择，从而无缝适配各类行为克隆与逆强化学习算法。

背景与挑战

背景概述

该数据集由研究者kmg0620于2024年创建，基于LeRobot框架与TeLeRobot系统构建，专注于机器人操作任务的模仿学习。核心研究问题在于如何通过遥操作收集的高质量示教数据，训练双臂机器人完成多任务操作。数据集包含115个完整演示片段，总计超13万帧时序数据，覆盖双臂各6自由度的关节状态与动作指令，并配有两个视角的视觉观测（主摄像头与右腕摄像头）。该数据集为机器人学习领域提供了一种可复现的遥操作数据采集范式，促进了双臂精细操作技能从示教到泛化的研究进展。

当前挑战

该数据集所解决的领域问题在于模仿学习中的数据效率与泛化瓶颈——传统方法常依赖大量人工标注或仿真环境，难以迁移至真实双臂机器人。构建过程中，挑战在于同步采集多视角高频视频（30 FPS）与高维关节状态数据，并确保双臂协同操作的时序一致性。此外，仅包含单任务且演示规模有限（115条轨迹），如何在有限样本下实现操作技能的鲁棒泛化，以及跨任务迁移时的领域适应问题，仍是该数据集需要面对的核心挑战。

常用场景

经典使用场景

在具身智能与机器人学习领域，vr_two_task数据集扮演着至关重要的角色，其核心用途在于支持双臂协作任务的模仿学习与行为克隆研究。该数据集汇聚了115个完整任务执行轨迹，记录了134,486帧时序数据，涵盖双机械臂12个关节的精确位姿信息以及多视角视觉观测。依托于LeRobot框架构建，这些数据使研究者能够训练机器人掌握诸如双手协同抓取、装配操作等精细动作，从而在实验室环境中复现人类演示的复杂行为模式。

衍生相关工作

围绕vr_two_task数据集，衍生出了一系列推动机器人学习进步的经典工作。这些工作包括利用Lee卷积神经网络或Transformer架构从多模态时序数据中提取动作表征，开发预测双臂协作轨迹的生成模型，以及设计数据增强方法以提升策略对视角变化的适应性。此外，基于该数据集的预训练模型已作为基础模块被集成到TeLeRobot等远程操作框架中，促进了从仿真到真实环境的技能迁移研究，强化了跨任务策略迁移的通用性探索。

数据集最近研究

最新研究方向

在机器人学前沿领域，vr_two_task数据集专注于双臂灵巧操作与模仿学习的交叉研究，其基于LeRobot框架构建，囊括了115个高质量演示片段，涵盖12维动作空间与多视角视觉观测（左主摄像头、右手腕摄像头），为复制人类精细操作提供了结构化的数据支撑。该数据集的涌现与当前机器人领域的热点事件紧密相连——随着TeLeRobot等远程操作系统的成熟，人机交互正从单臂向双臂协同进化，尤其在高精度装配、复杂物体操控等场景中，双臂协调的仿人运动轨迹成为关键瓶颈。vr_two_task通过记录Bi_so_follower机器人的完整状态与决策流，为端到端策略学习、动作预测及动态环境适应性的前沿研究提供了基准，其公开可复用的Apache-2.0协议更推动了开源机器人数据生态的繁荣，加速了从实验室演示到真实世界泛化的技术跃迁。