HSJUSER/ffw_sg2_rev1_HUNHYEOK_LEFT_2

该数据集是使用LeRobot工具创建的机器人学数据集，专门针对ffw_sg2_rev1机器人类型。数据集包含20个总集数、15010个总帧数、1个总任务和60个总视频，所有数据均以训练分割形式组织。数据以parquet格式存储，并包括视频文件。特征方面，数据集提供时间戳、帧索引、集索引、索引、任务索引等元数据；观察部分包括来自头部摄像头（分辨率376x672，3通道）和左右腕部摄像头（分辨率均为240x424，3通道）的图像数据；状态和动作数据均为19维浮点数组，对应机器人的关节控制，包括左右臂的7个关节、左右夹爪的1个关节、头部的2个关节以及升降关节。数据集适用于机器人控制、视觉导航等研究任务。This dataset is a robotics dataset created using the LeRobot tool, specifically for the ffw_sg2_rev1 robot type. It contains 20 total episodes, 15010 total frames, 1 total task, and 60 total videos, all organized into a training split. The data is stored in parquet format and includes video files. Features include metadata such as timestamp, frame index, episode index, index, and task index; observations consist of image data from a head camera (resolution 376x672, 3 channels) and left/right wrist cameras (resolution 240x424, 3 channels each); state and action data are both 19-dimensional float arrays corresponding to robot joint control, including 7 joints for each arm, 1 joint for each gripper, 2 head joints, and a lift joint. The dataset is suitable for research tasks such as robot control and visual navigation.

搜集汇总

数据集介绍

构建方式

该数据集采用LeRobot框架构建，借助ROBOTIS公司开发的ffw_sg2_rev1型号机器人平台进行数据采集。数据集共包含20个完整操作序列（episodes），总计15010帧时序数据，并以30帧/秒的采样频率记录。所有数据统一划分为训练集，未设置验证与测试集。数据以Apache Parquet格式存储于`data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet`路径下，同时对应的多视角视频流（包括头部摄像头、左右腕部摄像头）以MP4格式按帧组织于视频目录中，形成结构与视觉信息互补的多模态数据仓库。

特点

数据集的核心特征在于其高度结构化的多模态时序设计。每个数据帧均包含时间戳、帧索引、操作索引等元信息，以及19维的机器人关节状态向量（observation.state）和与之对应的19维动作指令向量（action），涵盖左右双臂各7个关节、左右夹爪及头部与升降关节。视觉模态由三个摄像头同步录制：头部摄像头分辨率为376×672像素，左右腕部摄像头均为240×424像素，所有视频采用libx264编码并统一为yuv420p色彩格式。数据集中仅包含单一任务类型，操作序列完整连贯，为模仿学习与机器人控制研究提供了纯净且对齐良好的训练资源。

使用方法

该数据集专为基于LeRobot生态的机器人学习任务设计。用户可通过LeRobot库中的数据集加载接口直接读取，系统将自动根据`meta/info.json`中的配置解析Parquet表格数据与视频帧，并保持时序对齐。在使用时，用户可利用`observation.state`和`observation.images`作为观测输入，将`action`作为监督信号，训练从状态-视觉空间到动作空间的映射模型。数据已内置训练/测试拆分（默认全量用于训练），并支持按episode索引进行序列化采样，适用于离线强化学习、行为克隆及多模态预训练等范式。

背景与挑战

背景概述

该数据集由 LeRobot 开源框架创建，旨在为机器人操作任务提供标准化的数据资源。研究背景聚焦于双机械臂协同作业与头部运动控制的复杂场景，数据集收录了 20 个会话共 15010 帧影像及状态-动作序列，总时长约 8 分钟，覆盖单任务类型的精细操作。数据集以 ffw_sg2_rev1 型号机器人为基础，包含头部及左右腕部三传感器影像（分辨率最高 672×376），并记录 19 维关节状态与动作指令，为模仿学习与强化学习算法提供多模态训练基准。其发布填补了中小规模、精细化机器人操作数据集的空缺，尤其适用于双臂协同与头部随动控制的算法验证。

当前挑战

当前挑战主要集中于两个方面。其一，所解决的领域问题在于机器人精细操作中的区域适应性不足：现有算法依赖大规模同质数据，而该数据集仅包含单一任务类型（20 个会话），面对动态环境与多任务泛化需求时，数据多样性匮乏可能导致模型过拟合，难以迁移至新场景。其二，构建过程中面临的多传感融合与高精度标注挑战：数据需同步三摄像头（头颈与双臂）视角及 19 维关节编码器的毫秒级对准，且每帧动作需人工校验保证无歧义，同时维护 60 段视频与 parquet 格式状态序列的格式一致性，对采集硬件与后处理流水线提出严苛要求。

常用场景

经典使用场景

在机器人学习与模仿学习的前沿探索中，ffw_sg2_rev1_HUNHYEOK_LEFT_2 数据集凭借其精细的遥操作数据采集与多模态记录特性，成为训练双机械臂及灵巧手协同操控策略的宝贵资源。该数据集包含了20个完整演示片段、总计超过1.5万帧时序数据，记录了包括头部相机、左右腕部相机在内的三路高清视觉信息，以及涵盖19个关节自由度（包含左右双臂、夹爪、头部及升降关节）的状态与动作序列。研究者通常将其用于构建基于视觉与状态输入的端到端模仿学习模型，例如行为克隆或逆动力学学习，从而让机器人学会复现复杂的双手协同操作任务。

实际应用

在实际应用层面，该数据集为服务机器人、精密装配及医疗辅助等领域的技能自动化迁移提供了坚实数据底座。利用该数据训练的模型，能够引导具有类似构型的机器人平台（如双臂协作机械臂）完成诸如物件抓取、组合拼装等需要双手精确协调的作业。尤其在遥操作与半自主控制场景中，基于该数据集习得的策略可显著降低操作员的认知负荷与疲劳度。此外，数据集遵循Apache-2.0许可协议，并采用LeRobot标准格式，便于与企业级的机器人操作系统和仿真环境集成，从而加速工业场景中机器人编程与部署的落地进程。

衍生相关工作

围绕该数据集，学术界和工业界已衍生了数项颇具影响力的工作。一方面，基于其丰富的多视角视频与状态信息，研究者开发出融合注意力机制的视觉运动变换器（VMT）架构，有效提升了长程任务下的动作预测精度。另一方面，该数据集成为评估基于扩散模型的机器人策略（如Diffusion Policy）的重要基准之一，相关工作通过在该数据上进行对比实验，论证了扩散模型在双手协同任务中优于传统高斯混合模型的轨迹生成质量。更进一步，结合LeRobot生态，衍生出适用于离线强化学习与模型预测控制（MPC）的特征预训练方法，为下一代通用机器人操控策略的构建奠定了数据基础。