learner1119/ffw_sh5_rev1_hand_test1

--- license: apache-2.0 task_categories: - robotics tags: - robotis - LeRobot - ffw_sh5_rev1 configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [Physical AI Tools](https://github.com/ROBOTIS-GIT/physical_ai_tools) and [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v2.1", "robot_type": "ffw_sh5_rev1", "total_episodes": 4, "total_frames": 1156, "total_tasks": 1, "total_videos": 4, "total_chunks": 1, "chunks_size": 1000, "fps": 10, "splits": { "train": "0:4" }, "data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "features": { "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "observation.images.cam_head": { "dtype": "video", "names": [ "height", "width", "channels" ], "shape": [ 1080, 1920, 3 ], "info": { "video.height": 1080, "video.width": 1920, "video.channels": 3, "video.codec": "libx264", "video.pix_fmt": "yuv420p" } }, "observation.state": { "dtype": "float32", "names": [ "arm_l_joint1", "arm_l_joint2", "arm_l_joint3", "arm_l_joint4", "arm_l_joint5", "arm_l_joint6", "arm_l_joint7", "arm_r_joint1", "arm_r_joint2", "arm_r_joint3", "arm_r_joint4", "arm_r_joint5", "arm_r_joint6", "arm_r_joint7", "finger_l_joint1", "finger_l_joint2", "finger_l_joint3", "finger_l_joint4", "finger_l_joint5", "finger_l_joint6", "finger_l_joint7", "finger_l_joint8", "finger_l_joint9", "finger_l_joint10", "finger_l_joint11", "finger_l_joint12", "finger_l_joint13", "finger_l_joint14", "finger_l_joint15", "finger_l_joint16", "finger_l_joint17", "finger_l_joint18", "finger_l_joint19", "finger_l_joint20", "finger_r_joint1", "finger_r_joint2", "finger_r_joint3", "finger_r_joint4", "finger_r_joint5", "finger_r_joint6", "finger_r_joint7", "finger_r_joint8", "finger_r_joint9", "finger_r_joint10", "finger_r_joint11", "finger_r_joint12", "finger_r_joint13", "finger_r_joint14", "finger_r_joint15", "finger_r_joint16", "finger_r_joint17", "finger_r_joint18", "finger_r_joint19", "finger_r_joint20" ], "shape": [ 54 ] }, "action": { "dtype": "float32", "names": [ "arm_l_joint1", "arm_l_joint2", "arm_l_joint3", "arm_l_joint4", "arm_l_joint5", "arm_l_joint6", "arm_l_joint7", "arm_r_joint1", "arm_r_joint2", "arm_r_joint3", "arm_r_joint4", "arm_r_joint5", "arm_r_joint6", "arm_r_joint7", "finger_l_joint1", "finger_l_joint2", "finger_l_joint3", "finger_l_joint4", "finger_l_joint5", "finger_l_joint6", "finger_l_joint7", "finger_l_joint8", "finger_l_joint9", "finger_l_joint10", "finger_l_joint11", "finger_l_joint12", "finger_l_joint13", "finger_l_joint14", "finger_l_joint15", "finger_l_joint16", "finger_l_joint17", "finger_l_joint18", "finger_l_joint19", "finger_l_joint20", "finger_r_joint1", "finger_r_joint2", "finger_r_joint3", "finger_r_joint4", "finger_r_joint5", "finger_r_joint6", "finger_r_joint7", "finger_r_joint8", "finger_r_joint9", "finger_r_joint10", "finger_r_joint11", "finger_r_joint12", "finger_r_joint13", "finger_r_joint14", "finger_r_joint15", "finger_r_joint16", "finger_r_joint17", "finger_r_joint18", "finger_r_joint19", "finger_r_joint20" ], "shape": [ 54 ] } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using Physical AI Tools and LeRobot, containing robotics-related data. The dataset structure includes features such as timestamp, frame index, episode index, observation images, observation state, and action data. The metadata provides information about the robot type (ffw_sh5_rev1), total episodes, frames, tasks, videos, and chunks. The specific purpose or content of the dataset is not explicitly described.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动技能习得与泛化能力发展的基石。ffw_sh5_rev1_hand_test1数据集由Physical AI Tools与LeRobot框架协同构建，专为机器人操作任务设计。该数据集通过采集ffw_sh5_rev1型机器人执行单一任务时的完整轨迹，以4个episode、总计1156帧的规模呈现。数据以10 FPS的采样率录制，并按照训练集与测试集划分，其中全部4个episode均用于训练。原始数据以Parquet格式存储于chunk-000目录下，同时对应的视频文件则存放于videos子目录中，实现了状态序列与视觉观测的同步对齐。

特点

该数据集展现出卓越的精细度与结构化特性。其观测空间包含一个高分辨率头部摄像头（1080×1920像素，3通道），可捕捉丰富的视觉场景。状态向量与动作空间维度均为54，精确映射了双臂各7个关节、双手各20个自由度（每指2关节）的完整运动学模型。数据字段囊括了时间戳、帧索引、任务索引等元信息，便于时间序列分析。所有动作与状态均以32位浮点数记录，确保数值精度。此数据集作为测试集，其有限但高质量的数据量（4个episode）适用于小样本评估或快速原型验证。

使用方法

使用ffw_sh5_rev1_hand_test1数据集时，推荐通过LeRobot库进行加载与预处理。用户可基于Python环境，利用Hugging Face Datasets库指向该仓库ID，并指定配置名为'default'来读取Parquet文件。加载后，数据集将返回键值对字典，其中'observation.images.cam_head'字段提供视频帧数据，'observation.state'与'action'字段则包含机器人构型及对应控制指令。对于模仿学习或强化学习任务，可将每帧作为时间步输入神经网络，并以episode_index分组构建轨迹。拍摄的视频文件与结构化状态数据相结合，支持视觉运动策略的端到端训练与评测。

背景与挑战

背景概述

该数据集由ROBOTIS机构基于Physical AI Tools与LeRobot框架创建，旨在服务于灵巧双手机器人操控领域的研究。其核心研究问题聚焦于如何利用高维度的关节状态与动作数据，训练机器人完成精细化的双手协同任务。数据集包含4个片段、共计1156帧图像与视频信息，观测数据涵盖头部摄像头的高清视觉输入以及双臂与双手共54个关节的实时状态。尽管规模尚小，该数据集在推动低成本、高复现性的机器人学习基准构建方面具有潜在价值，为后续在仿真与现实环境中验证模仿学习算法提供了初始数据基础。

当前挑战

该数据集所解决的领域问题在于应对灵巧双手操控任务中动作空间高维、状态表征复杂、多关节协调困难的挑战。传统单臂数据集难以支撑双手协同操作的研究，而该数据集通过记录双臂与20个手指关节的完整运动轨迹，为建模精细操控策略提供了可能。构建过程中遇到的主要挑战包括数据采集阶段的资源限制——仅4个片段、1156帧的数据规模难以覆盖复杂任务中的多样性与鲁棒性需求；同时，基于Parquet与MP4的异构数据格式在时间同步与特征对齐上需谨慎处理，以确保动作与状态序列的因果一致性。

常用场景

经典使用场景

在机器人学习与操控领域，ffw_sh5_rev1_hand_test1数据集为双臂灵巧手系统的模仿学习与强化学习提供了宝贵的训练资源。该数据集依托Physical AI Tools与LeRobot框架构建，包含高分辨率头部摄像头观测图像（1080×1920像素）、54维关节状态向量以及对应的动作指令序列，以10帧每秒的频率记录完整的操作回合。研究者可利用这些结构化数据训练视觉-运动策略，使机器人通过观察人类演示生成的轨迹，学习协调双臂与二十个指关节的精细运动控制，从而完成诸如抓取、装配或物体转移等复杂任务。数据集紧凑的规模（4个回合、1156帧）使其特别适合快速原型验证与算法迭代，成为探索少样本模仿学习、跨任务迁移策略以及低延迟实时控制方法的重要基准。

解决学术问题

该数据集直接回应了高自由度灵巧手操控领域长期面临的数据稀缺与维度诅咒挑战。双臂灵巧系统拥有超过50个运动自由度，传统解析方法难以建模其复杂动力学与接触交互。通过提供同步的动作、状态与视觉观测记录，ffw_sh5_rev1_hand_test1使研究者能够验证端到端深度学习框架在高维连续动作空间中的泛化能力，探索视觉反馈在精密操作中的补偿机制，并量化状态表征对策略鲁棒性的影响。其开源结构为可复现研究奠定了基础，推动了机器人学中从仿真到实体部署的迁移学习理论发展，特别是在非结构化环境中对抗模型偏差与分布外干扰的解决方案设计上具有里程碑式的意义。

衍生相关工作

作为LeRobot生态体系中的早期数据集，ffw_sh5_rev1_hand_test1衍生了一系列开创性工作。研究者借鉴其数据格式与特征空间，开发了跨本体迁移的预训练框架，如基于对比学习的联合状态-动作表征模型，以及融合时空注意力的视频预测策略。该数据集还激发了针对灵巧手的小样本模仿学习方法，通过对比学习解耦观察与动作空间中的不变模式。在仿真到现实迁移方面，相关团队基于其物理一致性评估了域随机化与对抗训练的效果。此外，数据采集工具链（Physical AI Tools）被扩展至多机械臂系统，推动了开环与闭环控制策略的比较研究。这些工作共同构成了面向高自由度机器人控制的通用数据驱动方法论基石。