HSJUSER/ffw_sg2_rev1_HUNHYEOK_LEFT

该数据集是一个机器人学数据集，使用LeRobot创建，专门针对机器人ffw_sg2_rev1设计。它包含20个训练episodes，总计15009帧数据，帧率为30fps，覆盖一个任务。数据集提供了多模态观测数据，包括来自三个摄像头的视频流（头部摄像头：分辨率376x672，左腕摄像头：分辨率240x424，右腕摄像头：分辨率240x424），以及机器人的状态信息（19个关节状态，如左右臂和头部关节）和对应的动作数据（19个关节动作）。数据以parquet格式存储，视频以mp4格式存储，适用于机器人控制、视觉感知和强化学习等研究。--- 许可证: Apache-2.0 任务类别: - 机器人学 标签: - LeRobot - ffw_sg2_rev1 - Robotis 配置项: - 配置名称: 默认配置 数据文件: data/*/*.parquet --- 本数据集由[LeRobot](https://github.com/huggingface/lerobot)开发构建。 ## 数据集说明 - **主页:** [需补充更多信息] - **论文:** [需补充更多信息] - **许可证:** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v2.1", "机器人型号": "ffw_sg2_rev1", "总轨迹数": 20, "总帧数": 15009, "总任务数": 1, "总视频数": 60, "总块数": 1, "单块大小": 1000, "帧率": 30, "划分方式": { "训练集": "0:20" }, "数据路径": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "视频路径": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "特征字段": { "时间戳": { "数据类型": "float32", "形状": [ 1 ], "字段名": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "字段名": null }, "轨迹索引": { "数据类型": "int64", "形状": [ 1 ], "字段名": null }, "索引": { "数据类型": "int64", "形状": [ 1 ], "字段名": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "字段名": null }, "观测数据.图像.头部相机": { "数据类型": "视频", "维度名称": [ "高度", "宽度", "通道数" ], "形状": [ 376, 672, 3 ], "补充信息": { "视频高度": 376, "视频宽度": 672, "视频通道数": 3, "视频编码格式": "libx264", "视频像素格式": "yuv420p" } }, "观测数据.图像.左腕相机": { "数据类型": "视频", "维度名称": [ "高度", "宽度", "通道数" ], "形状": [ 240, 424, 3 ], "补充信息": { "视频高度": 240, "视频宽度": 424, "视频通道数": 3, "视频编码格式": "libx264", "视频像素格式": "yuv420p" } }, "观测数据.图像.右腕相机": { "数据类型": "视频", "维度名称": [ "高度", "宽度", "通道数" ], "形状": [ 240, 424, 3 ], "补充信息": { "视频高度": 240, "视频宽度": 424, "视频通道数": 3, "视频编码格式": "libx264", "视频像素格式": "yuv420p" } }, "观测数据.状态": { "数据类型": "float32", "维度名称": [ "左臂关节1", "左臂关节2", "左臂关节3", "左臂关节4", "左臂关节5", "左臂关节6", "左臂关节7", "左手爪关节1", "右臂关节1", "右臂关节2", "右臂关节3", "右臂关节4", "右臂关节5", "右臂关节6", "右臂关节7", "右手爪关节1", "头部关节1", "头部关节2", "升降关节" ], "形状": [ 19 ] }, "动作数据": { "数据类型": "float32", "维度名称": [ "左臂关节1", "左臂关节2", "左臂关节3", "左臂关节4", "左臂关节5", "左臂关节6", "左臂关节7", "左手爪关节1", "右臂关节1", "右臂关节2", "右臂关节3", "右臂关节4", "右臂关节5", "右臂关节6", "右臂关节7", "右手爪关节1", "头部关节1", "头部关节2", "升降关节" ], "形状": [ 19 ] } } } ## 引用 **BibTeX格式引用:** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集ffw_sg2_rev1_HUNHYEOK_LEFT依托于LeRobot框架构建，旨在为机器人学习领域提供高质量的演示数据。数据采集自一台名为ffw_sg2_rev1的机器人平台，包含了20个完整操作回合，共计15009帧连续轨迹信息。数据以Parquet格式存储，并辅以MP4视频记录，实现了结构化数值与视觉信息的有机结合。每个回合均通过时间戳、帧索引与回合索引进行精确标注，确保数据序列的可追溯性与完整性。

特点

数据集的核心特色在于其多维同步的传感器融合能力。它记录了来自头部与左右腕部三个摄像头的同步视频流，分辨率从240×424至376×672不等，为环境感知提供了丰富的多视角信息。同时，观测状态包含19维关节角度与末端执行器数据，涵盖双臂七自由度关节、夹爪状态、头部俯仰与偏航以及升降关节，完整复现了机器人的运动学姿态。动作空间与状态空间维度一致，便于直接用于模仿学习等任务的监督训练。

使用方法

使用时，研究人员可通过LeRobot库直接加载该数据集，利用其预设的'default'配置自动索引parquet文件与对应视频。数据已按训练集划分（前0至20回合），无需额外分割。用户可访问'observation.state'与'action'字段获取19维关节控制信号，并通过'observation.images'下的三个相机键名获取图像帧。建议将视频帧与状态序列对齐后，构建端到端的视觉运动策略模型，或用于多视角融合的机器人操作研究。

背景与挑战

背景概述

ffw_sg2_rev1_HUNHYEOK_LEFT数据集由LeRobot社区于近期创建，专注于机器人操作领域，特别是针对Robotis FFW SG2 Rev1型双臂移动操作平台的感知与控制研究。该数据集由一位名为HUNHYEOK的研究者贡献，旨在为双臂协同操作、视觉-运动联合建模及机器人模仿学习提供标准化的训练与评估基准。通过对20个任务片段、超过15000帧的高保真多视角视频（头部与左右腕部摄像头）及19维关节状态与动作序列的精细采集，该数据集为探究多模态感知与连续动作空间的映射关系提供了核心资源，推动了具身智能中双臂自主操作能力的范式演进。

当前挑战

该数据集所解决的领域挑战在于，双臂机器人操作任务面临高维动作空间、灵巧抓取与协调控制的复杂性，现有单任务数据集难以支撑跨场景泛化能力的训练。在构建过程中，挑战首先体现为多传感器数据的时空同步，需确保头部与双腕三路视频流及19个关节状态的毫秒级对齐；其次，任务片段仅有20个且未划分验证集，样本规模有限，易导致模仿学习中的过拟合风险；此外，关节状态与动作数据包含冗余维度，在稀疏奖励环境下如何高效提取关键特征并实现跨任务迁移，仍是亟待攻克的技术瓶颈。

常用场景

经典使用场景

在机器人学习与具身智能的研究浪潮中，ffw_sg2_rev1_HUNHYEOK_LEFT数据集扮演着关键角色。该数据集聚焦于双机械臂移动操作平台，采集了来自头部及左右腕部摄像头的多视角视觉信息，并同步记录了包含19个关节自由度在内的完整状态与动作序列。其经典的使用场景在于训练机器人通过模仿学习完成精细操作任务，如抓取、放置与装配。借助该数据集，研究人员可以构建端到端的视觉-运动策略，使机器人从高维观测中直接映射出精确的关节指令，从而在复杂动态环境中实现灵巧的操作行为。

衍生相关工作

围绕ffw_sg2_rev1_HUNHYEOK_LEFT数据集，学术界衍生出多项具有启发性的研究工作。首先，结合LeRobot框架的标准化界面，该数据集被用作Diffusion Policy、ACT等前沿策略模型的验证平台，推动了基于扩散模型的机器人动作生成方法的发展。此外，部分工作利用其多模态观测特性，探索了视觉-语言-动作联合建模的可能性。在跨场景迁移研究方面，该数据集也常作为源域数据，与目标域少量样本结合，用于测试领域随机化与域自适应技术的迁移效果。这些衍生工作不仅丰富了机器人学习的方法论体系，也逐步构建起了从单一数据集到通用操作策略的桥梁。

数据集最近研究

最新研究方向

该数据集聚焦于机器人双臂协同与灵巧操作的前沿研究，通过记录ffw_sg2_rev1型机器人在执行单一任务时的多模态数据，包括多视角视觉流（头部及左右腕部相机）与19维关节状态-动作序列，为模仿学习与行为克隆提供了高保真训练样本。伴随具身智能浪潮，此类精细操控数据集正成为破解非结构化环境中复杂装配、柔性操作等难题的关键，其蕴含的位姿-力矩耦合关系可直接赋能基于Transformer的端到端策略模型，推动机器人从预设编程向自主技能习得范式跃迁。20个episodes的紧凑规模虽需在数据增强与迁移泛化层面做文章，但已为轻型双臂平台的开源生态注入实证基石。