planar_3joint

Planar_3Joint数据集是一个机器人学领域的数据集，使用LeRobot框架创建，专为机器人控制任务设计，特别适用于基于视觉的模仿学习或强化学习研究。数据集包含2000个独立的交互片段，总计458,714个数据帧，采样频率为30帧/秒。每个数据样本包含多模态观测信息：两种格式的RGB视觉输入（224x224分辨率，3通道），分别经过letterbox和stretch处理；4维的机器人关节状态（包括3个关节和1个夹爪）；4维的动作指令；8维的环境状态（包含末端执行器的x和z坐标）。此外，数据集还提供了时间戳、帧索引、片段索引等元数据。数据以Parquet格式存储，总数据文件大小为100MB，相关视频文件大小为200MB。该数据集适用于训练机器人策略模型，特别是需要结合视觉感知和状态信息的控制任务。The Planar_3Joint dataset is a robotics dataset created using the LeRobot framework. It is specifically designed for robotic control tasks and is particularly suitable for vision-based imitation learning or reinforcement learning research. The dataset contains 2000 independent interaction episodes, with a total of 458,714 data frames and a sampling frequency of 30 frames per second. Each data sample includes multimodal observation information: two formats of RGB visual inputs (224×224 resolution, 3 channels) processed via letterbox and stretch respectively; 4-dimensional robotic joint states including 3 joints and 1 gripper; 4-dimensional action commands; and 8-dimensional environmental states including the x and z coordinates of the end-effector. Additionally, the dataset provides metadata such as timestamps, frame indices, and episode indices. The data is stored in Parquet format, with a total data file size of 100 MB and associated video files totaling 200 MB. This dataset is applicable for training robotic policy models, especially for control tasks that require integrating visual perception and state information.

原始信息汇总

数据集概述

• 数据集名称: planar_3joint
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构与特征

• 帧率: 30 FPS
• 总片段数: 2000
• 总帧数: 458714
• 总任务数: 1
• 数据集分割: 仅包含训练集（0:2000）

数据特征

特征名称	数据类型	形状	说明
observation.images.base_rgb_letterbox	image	(3, 224, 224)	基础RGB信箱图像
observation.images.base_rgb_stretch	image	(3, 224, 224)	基础RGB拉伸图像
observation.state	float32	(4,)	关节状态：joint_1, joint_2, joint_3, gripper
action	float32	(4,)	动作：joint_1, joint_2, joint_3, gripper
observation.environment_state	float32	(8,)	环境状态：env_0～5, ee_x, ee_z
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	索引
task_index	int64	(1,)	任务索引

文件存储

• 数据文件: data/*/*.parquet，分块存储，路径格式 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据大小: 数据文件约100MB，视频文件约200MB
• 分块大小: 每块1000帧

机器人类型

• 机器人类型: lerobot_splatsim

可视化

该数据集可通过 可视化空间 进行交互式查看。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于模拟平面三关节机械臂的操控任务。数据通过仿真环境采集，涵盖2000个完整回合（episode），总计458,714帧时序数据。每个回合记录了机械臂各关节的位置、夹爪状态、环境状态向量以及末端执行器坐标，并同步保存了两类视觉观测：基础RGB信箱缩放图像和拉伸图像，均为224×224像素分辨率，以支持多模态感知研究。数据以30帧/秒的固定频率采样，并以Parquet格式存储结构化信息，与MP4视频文件通过元数据关联，形成高效的数据索引体系。

特点

数据集核心特点在于其多模态融合设计与标准化结构。观测空间包含4维关节状态、8维环境状态及双路视觉输入，而动作空间同样对应4维关节控制指令，形成完整的闭环学习框架。所有时序数据通过帧索引、回合索引和任务索引进行精确标注，便于序列建模。数据集已预划分为训练集（2000回合），并内置100MB数据文件与200MB视频文件，压缩存储方案兼顾完整性与传输效率。此外，机器人类型标注为“lerobot_splatsim”，确保与LeRobot生态中其他工具的兼容性。

使用方法

使用本数据集时，推荐通过LeRobot库的标准化API进行加载。用户可基于data_path和video_path元数据批量读取Parquet表格与MP4视频，利用chunks_size参数（1000帧/块）控制内存加载粒度。对于模仿学习或强化学习任务，可直接提取'observation.state'与'action'字段作为策略输入/输出，或融合'observation.images'中的视觉特征进行端到端训练。数据集支持的train/test范式通过splits字段定义，其中训练集覆盖全部2000回合，开发者亦可据此自定义交叉验证方案。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种从专家演示中复现行为的技术，近年来受到广泛关注。planar_3joint数据集由JennyWWW等人于2023年基于LeRobot框架创建，专注于3关节平面机械臂的运动控制任务。该数据集包含2000个完整轨迹、总计超过45万帧的高频数据（30 FPS），通过多维传感器信息（如关节状态、环境状态、视觉图像）记录机械臂在平面空间中的操作行为。其核心研究问题聚焦于利用多模态观测数据，实现高精度、高鲁棒性的机械臂运动规划与控制。作为LeRobot生态中的重要组成部分，该数据集为验证模仿学习算法在低自由度连续控制场景中的有效性提供了标准化基准，推动了机器人学习中状态表示与动作映射协同优化的研究进展。

当前挑战

该数据集所解决的领域问题核心在于低自由度机械臂在连续控制任务中的动作生成与泛化挑战。具体而言，3关节平面机械臂虽结构简单，但其运动学约束与环境交互的复杂性要求模型在有限观测下准确推断连续动作序列，这对当前模仿学习方法在局部最优规避与长期依赖建模方面提出严苛要求。在数据构建过程中，难点体现为多模态数据的同步采集与标注一致性维护，例如将高帧率（30 FPS）的RGB图像、4维关节状态与8维环境状态精确对齐，同时保证2000个轨迹片段中动作与状态的时序连贯性。此外，数据存储格式需兼容大规模Parquet文件与MP4视频的高效混合读写，这对数据流水线的鲁棒性与可扩展性构成了技术挑战。

常用场景

经典使用场景

在机器人学习与操控领域，planar_3joint数据集专为三关节平面机械臂的模仿学习与强化学习任务而设计。该数据集通过LeRobot框架采集，包含2000个演示轨迹，每个轨迹以30帧每秒的频率记录了关节角度、夹爪状态、环境状态以及多视角图像信息。研究者可基于此数据集训练智能体学习从像素到动作的端到端映射，尤其是利用视觉观察（如基础相机图像）与状态信息进行策略学习。数据集中统一的动作与状态空间格式（4维向量：三关节角度与夹爪控制）为行为克隆、逆强化学习等经典算法提供了标准化评估平台，成为验证机器人操作算法迁移性与泛化能力的重要基准。

衍生相关工作

围绕planar_3joint数据集，衍生了一系列具有影响力的经典工作，包括基于扩散模型的机器人行为策略生成、分层强化学习架构以及多任务迁移学习框架。研究者利用该数据集的标准化工位布局与多视角图像，率先验证了视觉变换器（ViT）在机器人操作策略中的有效性。此外，数据集的时序采样特性（30 FPS）促使学者开发出时间序列预测模型，通过分析历史帧的关节状态与动作变化来增强策略的平滑性。在模仿学习领域，该数据集被用作基准来对比直接行为克隆与逆最优控制方法在欠驱动机械臂上的性能差异，其结论直接影响了后续对数据增强技术与因果推理在机器人学习中作用的探索。

数据集最近研究

最新研究方向

平面三自由度机器人操作数据集（planar_3joint）依托LeRobot框架构建，聚焦于机器人关节空间与末端执行器状态的高频采样（30 FPS），涵盖2000个操作轨迹共约458,714帧数据，融合视觉与状态-动作对。在当前前沿研究中，该数据集被广泛应用于模仿学习与强化学习的交叉验证，特别是在低维机械臂平面抓取与放置任务中，其精细的关节序列与图像观测对齐特性，为策略泛化性研究提供了可靠的基准。其开源Apache-2.0协议与标准化Parquet+MP4存储格式，契合了机器人领域对可复现科研的迫切需求，有助于推动具身智能体在受限平面环境中的高效决策与技能迁移研究。