HSJUSER/ffw_sg2_rev1_SEOKJUN_LEFT_2

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot - ffw_sg2_rev1 - robotis configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v2.1", "robot_type": "ffw_sg2_rev1", "total_episodes": 20, "total_frames": 15011, "total_tasks": 1, "total_videos": 60, "total_chunks": 1, "chunks_size": 1000, "fps": 30, "splits": { "train": "0:20" }, "data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "features": { "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "observation.images.cam_head": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 376, 672, 3 ], "info": { "video.height": 376, "video.width": 672, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.images.cam_wrist_left": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 240, 424, 3 ], "info": { "video.height": 240, "video.width": 424, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.images.cam_wrist_right": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 240, 424, 3 ], "info": { "video.height": 240, "video.width": 424, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.state": { "dtype": "float32", "names": [ "arm_l_joint1", "arm_l_joint2", "arm_l_joint3", "arm_l_joint4", "arm_l_joint5", "arm_l_joint6", "arm_l_joint7", "gripper_l_joint1", "arm_r_joint1", "arm_r_joint2", "arm_r_joint3", "arm_r_joint4", "arm_r_joint5", "arm_r_joint6", "arm_r_joint7", "gripper_r_joint1", "head_joint1", "head_joint2", "lift_joint" ], "shape": [ 19 ] }, "action": { "dtype": "float32", "names": [ "arm_l_joint1", "arm_l_joint2", "arm_l_joint3", "arm_l_joint4", "arm_l_joint5", "arm_l_joint6", "arm_l_joint7", "gripper_l_joint1", "arm_r_joint1", "arm_r_joint2", "arm_r_joint3", "arm_r_joint4", "arm_r_joint5", "arm_r_joint6", "arm_r_joint7", "gripper_r_joint1", "head_joint1", "head_joint2", "lift_joint" ], "shape": [ 19 ] } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and belongs to the robotics domain, specifically for the ffw_sg2_rev1 robot type. It contains 20 episodes, 15011 frames, and 60 videos, all dedicated to a single task. Videos are recorded at 30 fps and split into a training set covering all episodes. Data is stored in parquet format, and videos in mp4 format. Features include timestamps, frame indices, episode indices, task indices, as well as observation images from three cameras (head camera, left wrist camera, right wrist camera) with specified resolutions and encoding information. Additionally, it includes robot state observations (e.g., 19 joint positions) and action data (also 19 joint controls). The dataset structure supports robot learning and control tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专为机器人操作任务设计。数据采集自一台名为ffw_sg2_rev1的机器人平台，包含20个完整操作回合，共计15011帧数据。数据集以30帧每秒的采样率录制，存储格式为Parquet文件与MP4视频文件相结合，分别存放机器人状态信息与视觉观测数据。机器人状态包含19维特征，涵盖双臂关节角度、夹爪状态、头部关节及升降关节等关键参数；视觉观测则来自三个摄像头视角（头部主相机及左右腕部相机），分辨率分别为376×672与240×424像素。数据集仅包含一个训练任务，所有20个回合均被划分至训练集。

使用方法

使用LeRobot库可便捷地加载该数据集。通过指定数据集名称和存储路径，调用LeRobot的dataset加载函数即可获得包含图像、状态与动作序列的数据迭代器。每个数据样本包含时间戳、帧索引、回合索引等元数据字段，以及视觉观测和状态-动作对。研究者可据此训练模仿学习模型，将观测映射为动作输出。数据集已预划分训练集（0至20回合），无需额外处理即可直接用于模型训练、验证与评估。

背景与挑战

背景概述

该数据集由Hugging Face社区基于LeRobot框架构建，专为机器人操作任务设计，发布于2024年。核心研究问题聚焦于通过学习人类示范动作，使双机械臂机器人（ffw_sg2_rev1型）能够自主完成精细操作任务。数据集包含20个演示片段，共15011帧，覆盖了机器人左右臂各7个关节、手爪、头部及升降机构的完整运动状态。采样频率达30帧/秒，并配备头侧与左右腕部三路摄像头视觉信息，为模仿学习和行为克隆提供了高保真的多模态训练资源。该数据集填补了开源社区在复杂双机械臂协同操作领域的标准化数据空白，对推动具身智能机器人从仿真到现实迁移具有重要支撑作用。

当前挑战

当前挑战集中于两大维度：一是操作任务本身的复杂性——双机械臂协同完成精细操作涉及19个关节的实时协调控制，对运动规划与力反馈精度要求极高，机械臂间的运动干涉与避碰机制仍需深入探索。二是数据集构建环节的局限性，仅包含单一的未明确标注任务类型，20个演示片段在多样性上明显不足，尚难以支撑泛化能力训练；此外，相机视角的分辨率（头侧376×672、腕部240×424）在抓取细微物体时的视觉精度受限，且缺乏深度信息，增加了从2D视觉到3D操作的感知鸿沟。

常用场景

经典使用场景

在机器人学习与自动化控制领域，ffw_sg2_rev1_SEOKJUN_LEFT_2数据集因其高保真度与结构化特性，成为模仿学习（Imitation Learning）与行为克隆（Behavior Cloning）研究的经典数据源。该数据集记录了双机械臂与灵巧手在联合操作中的精细运动状态，融合了头肩相机与左右腕部相机的多视角视觉信息，并提供了完整的19维关节空间动作序列。研究者常利用这些连续帧与动作标签，训练端到端的机器人操作策略，使智能体在复杂抓取与装配任务中复现人类示范的柔顺控制行为。数据集内20个完整轨迹与超过15000帧的高频采样（30 FPS），为训练鲁棒的策略网络奠定了坚实基础。

解决学术问题

该数据集的发布有效缓解了机器人操作研究中真实物理交互数据匮乏的困境，尤其针对双臂协调与灵巧手精细控制这类高维度、非线性系统建模难题。通过提供标准化且带有时间戳的状态-动作对，它使得学术界能够公平对比不同模仿学习算法（如扩散策略与基于变换器的序列模型）在真实硬件上的迁移性能。数据集完善了从感知到执行的闭环评估体系，推动了具身智能领域关于泛化能力、数据效率与操作精度的理论探讨。其开源许可（Apache-2.0）和模块化结构（LeRobot格式）更是降低了研究门槛，加速了可重复性验证与基准测试的进程。

实际应用

在工业与服务业机器人部署实践中，该数据集可直接服务于个性化操作技能的快速迁移。例如，利用其记录的双臂移动升降平台（ffw_sg2_rev1）的真实关节指令，开发者能够微调预训练模型以适配仓储分拣或精密装配场景。数据集包含的头部转动与提升关节动作，对智能机器人在动态环境中调整观察视角、执行协同搬运任务具有关键指导意义。此外，其丰富的视觉-运动对应关系可用于开发增强现实（AR）远程操控系统，使非专业用户通过示例轻松教机器人完成拧螺丝或插拔线束等精细操作，从而缩短了从实验室原型到商业产品的转化周期。

数据集最近研究

最新研究方向

该数据集聚焦于仿人双机械臂操作平台的精细化操控研究，依托ffw_sg2_rev1机器人平台，记录了涵盖19维动作空间与多视角视觉观测的高频时序数据。在机器人学习领域，此类多模态数据集正成为驱动模仿学习与强化学习从仿真迁移至真实环境的核心枢纽，尤其契合近年来具身智能（Embodied AI）与行为克隆（Behavior Cloning）技术的爆发式需求。结合当前热点，数据集所涉及的灵巧操作与双臂协同控制，在工业精密装配、医疗辅助操作乃至家庭服务机器人等场景中展现出广阔前景，为突破传统固定程序控制的局限性、实现适应性泛化能力提供了关键数据基石。