HSJUSER/0529_240

--- license: apache-2.0 task_categories: - robotics tags: - robotis - LeRobot - ffw_sg2_rev1 configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [Physical AI Tools](https://github.com/ROBOTIS-GIT/physical_ai_tools) and [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "total_episodes": 241, "total_frames": 180865, "total_videos": 723, "codebase_version": "v2.1", "robot_type": "ffw_sg2_rev1", "total_tasks": 1, "total_chunks": 1, "chunks_size": 1000, "fps": 30, "splits": { "train": "0:240" }, "data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "features": { "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "observation.images.cam_head": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 376, 672, 3 ], "info": { "video.height": 376, "video.width": 672, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.images.cam_wrist_left": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 240, 424, 3 ], "info": { "video.height": 240, "video.width": 424, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.images.cam_wrist_right": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 240, 424, 3 ], "info": { "video.height": 240, "video.width": 424, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.state": { "dtype": "float32", "names": [ "arm_l_joint1", "arm_l_joint2", "arm_l_joint3", "arm_l_joint4", "arm_l_joint5", "arm_l_joint6", "arm_l_joint7", "gripper_l_joint1", "arm_r_joint1", "arm_r_joint2", "arm_r_joint3", "arm_r_joint4", "arm_r_joint5", "arm_r_joint6", "arm_r_joint7", "gripper_r_joint1", "head_joint1", "head_joint2", "lift_joint" ], "shape": [ 19 ] }, "action": { "dtype": "float32", "names": [ "arm_l_joint1", "arm_l_joint2", "arm_l_joint3", "arm_l_joint4", "arm_l_joint5", "arm_l_joint6", "arm_l_joint7", "gripper_l_joint1", "arm_r_joint1", "arm_r_joint2", "arm_r_joint3", "arm_r_joint4", "arm_r_joint5", "arm_r_joint6", "arm_r_joint7", "gripper_r_joint1", "head_joint1", "head_joint2", "lift_joint" ], "shape": [ 19 ] } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics task dataset created using Physical AI Tools and LeRobot, designed for robot learning and control research. It contains 241 episodes, totaling 180,865 frames and 723 video files. The robot type is ffw_sg2_rev1, with data collected at 30 frames per second. The dataset includes only a training set (indices 0 to 240). Data is stored in Parquet format, and videos are in MP4 format. Key features include: timestamp, frame index, episode index, task index; observations include image data from a head camera (resolution 376x672, 3 channels) and left/right wrist cameras (both 240x424 resolution, 3 channels), as well as robot state observations (covering 19 joints such as left arm, right arm, head, and lift joint states); actions include control actions for 19 joints. This data is suitable for tasks like robot vision, state estimation, and action control.

搜集汇总

数据集介绍

构建方式

该数据集依托于Physical AI Tools与LeRobot框架构建而成，旨在为机器人模仿学习与操控任务提供高质量的多模态训练素材。数据采集过程中，系统以30帧每秒的稳定频率同步记录机器人执行单一任务时的完整状态序列，涵盖了来自头部相机及左右腕部相机的三路视觉影像，以及包含19个自由度的机器人关节状态与动作指令。所有数据被组织为241个独立回合，共计180865帧原始观测，并以parquet格式存储结构化信息，同时将视频数据编码为mp4格式，确保了数据的高效存取与长期复用性。

使用方法

在应用方面，开发者可借助LeRobot框架的内置接口直接加载该数据集，访问其标准化的训练-验证划分（训练集包含0至240回合）。每一回合均以parquet文件记录时间戳、帧索引及观测、动作等时间序列数据，而对应的视频片段则独立存储于videos目录下，便于利用现成的视觉编码器进行特征提取。通过解析features字段中定义的多模态张量形状与数据类型，研究者能够方便地将视觉、状态与动作信息对齐，进而开展端到端的机器人操控策略学习或离线强化学习研究。

背景与挑战

背景概述

在机器人操作与模仿学习领域，高质量、多模态的演示数据集是驱动算法迈向通用化的关键基石。ROBOTIS团队基于其自主研发的物理AI工具（Physical AI Tools）与LeRobot框架，于近年构建了名为0529_240的数据集。该数据集聚焦于双机械臂协同操作场景，所采集的机器人平台为ffw_sg2_rev1，核心研究问题在于如何通过高保真的视觉与状态-动作序列数据，提升机器人从人类演示中学习复杂技能的能力。数据集包含241个演示片段、超过18万帧时序数据，并配备头戴相机与左右腕部相机的多视角视频记录，为行为克隆、逆强化学习等算法提供了标准化训练素材，在推动开源机器人数据生态发展方面具有显著影响力。

当前挑战

该数据集所解决的领域问题直面机器人模仿学习中的两大挑战：其一，多源异构数据的高效融合与对齐——数据集中包含三种相机视角、19维关节状态与动作空间，如何设计算法从这些高度耦合的观测中提取鲁棒的动作表征是一大难题；其二，数据构建过程中，采集长时序、高精度（30fps）的遥操作演示需要克服硬件控制延迟与操作一致性保障的技术瓶颈，确保演示质量可复现。此外，数据规模有限（241条轨迹）与动作空间的高维度（19维）构成对模型泛化能力的严峻考验，亟需结合迁移学习或数据增强策略来缓解数据稀疏性带来的过拟合风险。

常用场景

经典使用场景

在机器人学与具身智能研究领域中，该数据集专为双臂移动机械臂（ffw_sg2_rev1）的精细灵巧操作任务而构建，涵盖了241个高质量演示片段，包含超过18万帧时序数据与多视角视觉观测。经典使用场景聚焦于学习基于视觉的运动策略，通过头部摄像头、左右腕部摄像头提供的多模态感知信息，结合19维关节状态与动作空间，训练端到端的模仿学习或强化学习模型。数据集以30帧/秒的高采样率捕捉连续动作，并采用标准化的parquet与视频格式存储，便于研究人员直接开展行为克隆、逆强化学习等算法的训练与评估，为双臂协调与复杂任务泛化提供了标准化基准。

解决学术问题

该数据集有效解决了机器人研究领域长期面临的两大核心难题：一是高质量、多模态的专家示范数据稀缺，制约了从人类演示中学习任务策略的可行性；二是双臂协调场景下，高维状态-动作空间与视觉信息的对齐建模缺乏公开对照基准。通过提供包括3路同步摄像头图像、19维联合位置状态与精确动作指令的完整轨迹，该数据集为模仿学习、监督式策略优化以及多任务泛化研究提供了坚实基础。其意义在于，它能够量化评估不同策略架构在真实机械臂平台上的表现差异，推动从孤立单臂任务向双臂动态协作的学术过渡，并促进机器人对细粒度操作技能的可复用学习与迁移。

实际应用

实际应用中，该数据集所支持的技术可直接部署于工业装配、精密分拣、医疗辅助操作以及家庭服务机器人场景。例如，在电子元件装配线上，双臂机器人可以基于从数据集中学到的协调动作，执行插拔、拧紧等精细工序；在医疗领域，可辅助完成手术器械传递、药物配制等需双臂配合的任务。此外，数据集包含的头部摄像头视角还可用于实现远程操作的人机接口，使操作员通过视觉反馈精准控制末端执行器。随着数据集规模的扩充与训练算法的优化，其有望降低工业机器人编程与调试的成本，加速自适应、可迁移的灵巧操作技术在非结构化环境中的落地部署。

数据集最近研究

最新研究方向

在具身智能与机器人操作领域，数据集0529_240以其精细化的双机械臂遥操作数据，成为模仿学习与策略泛化研究的前沿阵地。该数据集通过ROBOTIS的FFW_SG2_REV1平台采集，涵盖241个回合、18万帧高保真时序样本，并融合了头部、左腕与右腕三视角立体视觉信息以及19维关节状态与动作空间，为复杂双手协同任务提供了完整的观测-动作对。当前研究热点聚焦于利用此类数据训练扩散策略或Transformer架构的机器人基础模型，探索从示教数据中高效提取可泛化的操作先验。随着LeRobot等开源工具链的成熟，该数据集不仅助力了低成本机器人学习社区的蓬勃发展，更推动着从单一任务演示向多技能、多环境适应性智能体构建的范式跃迁，对加速通用机器人操作能力的落地具有里程碑式意义。