HSJUSER/0529_DATASETS

该数据集是一个机器人控制数据集，使用Physical AI Tools和LeRobot工具创建。数据集包含121个episodes，总计90808帧和363个视频，帧率为30fps。数据采用分块存储，每个块大小为1000。数据集专门针对ffw_sg2_rev1双手机器人设计，包含一个任务。特征包括：时间戳、帧索引、episode索引、索引、任务索引；观察部分包括来自头部摄像头（分辨率376x672，3通道）、左右手腕摄像头（分辨率均为240x424，3通道）的视频图像，以及19维的机器人状态（涵盖左右手臂各7个关节、左右夹爪各1个关节、头部2个关节和升降1个关节）；动作部分为19维的关节控制命令。数据格式为parquet，视频格式为MP4。数据集适用于机器人学习和控制研究，许可证为Apache 2.0。This dataset is a robotics control dataset created using Physical AI Tools and LeRobot. It contains 121 episodes, with a total of 90,808 frames and 363 videos, at a frame rate of 30fps. Data is stored in chunks with a size of 1000 per chunk. The dataset is specifically designed for the ffw_sg2_rev1 dual-arm robot and includes one task. Features include: timestamp, frame index, episode index, index, task index; observations include video images from a head camera (resolution 376x672, 3 channels), left and right wrist cameras (both resolutions 240x424, 3 channels), and a 19-dimensional robot state (covering 7 joints per arm, 1 gripper joint per side, 2 head joints, and 1 lift joint); actions are 19-dimensional joint control commands. Data is stored in parquet format, with videos in MP4 format. The dataset is suitable for robotics learning and control research, licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

该数据集依托物理人工智能工具包（Physical AI Tools）与LeRobot框架协同构建，专为机器人模仿学习任务设计。数据采集过程中，以FFW SG2 Rev1型机器人为载体，通过多视角摄像头（包括头部主摄像头、左腕部及右腕部摄像头）同步记录环境视觉信息，同时以30帧/秒的采样频率捕捉机器人19维关节状态与动作序列。数据集共包含121个完整演示片段，累计90,808帧时序数据，并以结构化方式将原始数据存储为Parquet格式，视频则采用H.264编码压缩存储于独立路径中。训练集与验证集按120:1的比例划分，兼顾模型训练的数据多样性与评估的可靠性。

使用方法

研究者可通过LeRobot框架或Hugging Face Datasets库便捷地加载该数据集。加载时需指定数据路径与视频路径模板，系统将自动解析Parquet文件中的时序帧与关联视频片段。数据集结构清晰，每个样本包含frame_index、observation.state、observation.images及action字段，可直接用于构建模仿学习中的状态-动作对。推荐基于此数据训练行为克隆或扩散策略模型，并利用其内置的episode_chunk与episode_index索引机制实现批量流式读取。由于数据已预定义特征类型与形状，用户仅需按LeRobot标准API调用，即可避免繁琐的手动预处理，尤其适合进行双臂协同操控任务的迁移学习与策略评估。

背景与挑战

背景概述

该数据集由ROBOTIS机构依托Physical AI Tools与LeRobot框架于近期创建，聚焦于机器人操作任务的模仿学习研究。核心研究对象为FFW_SG2_REV1型双机械臂移动平台，通过采集121个示范片段、90,808帧多模态数据，包括三路视觉观测（头部及左右腕部摄像头）与19维关节状态/动作序列，为从示范中学习复杂操作技能提供了结构化基准。其设计遵循LeRobot数据规范，以Apache-2.0许可证开放，旨在推动具身智能领域数据标准化与算法复现，对机器人技能泛化研究具有重要支撑作用。

当前挑战

该领域面临的挑战在于如何从有限示范中高效泛化至未见过的工作场景与物体配置，数据集中单一任务设定限制了策略的多样性学习。构建过程中，多摄像头同步采集的时空对齐、19自由度动作空间的高维相关性建模、以及视频与状态序列的联合标注精度控制，均构成技术难点。此外，数据规模仅涵盖121个片段，对训练鲁棒策略所需的数据效率与域迁移能力提出了严苛要求，亟需结合仿真数据增强或跨任务迁移学习以突破瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，数据集常作为模仿学习算法的训练基石。该数据集采集自具备双臂与头部关节的仿人机器人平台，包含121个演示片段、逾9万帧时序数据，并同步记录多视角视觉观测与19维关节状态、动作序列。研究者可利用这些高保真、多模态的示教数据，训练行为克隆或逆强化学习模型，使机器人从人类示范中习得精细的协作操控策略，例如双手协同抓取与升降作业。

解决学术问题

该数据集直面机器人学习中数据稀缺与泛化性不足的核心挑战。通过提供标准化、多模态的演示数据，它使学术研究能够聚焦于少样本模仿学习、跨任务迁移与策略鲁棒性增强等关键问题。其公开的基准意义在于，为验证新型算法（如隐式策略、扩散策略）在复杂关节空间中的控制效能提供统一平台，进而推动从理论建模到实证验证的闭环研究进程。

实际应用

在实际工业与服务业场景中，该数据集可用于开发精密装配、物料搬运及人机协作任务中的机器人技能。例如，双臂机器人可基于此数据训练升降机构配合末端执行器完成包装操作，或通过视觉引导实现目标定位与抓取。此外，医院物流、实验室样品处理等对操作精度与安全性要求严苛的领域，亦能从中汲取适配的决策策略，加速机器人落地部署。

数据集最近研究

最新研究方向

该数据集聚焦于双臂机器人灵巧操作与感知的融合研究，借助多视角视觉输入（包括头戴与双腕摄像头）与19维关节状态及动作空间，为模仿学习与基于物理AI的具身智能体训练提供了高保真数据。其最新研究方向紧密关联双臂协作、精确抓取与柔性操作等前沿课题，通过LeRobot框架实现从数据采集到策略部署的全流程标准化，显著推动了机器人从仿真环境迁移至真实场景的泛化能力，并在开源社区内催化了关于多模态感知与端到端控制策略的迭代革新，为构建更敏捷、更安全的工业与家庭服务机器人奠定了关键数据基础。