learner1119/ffw_sh5_rev1_hand_test_merge

---
license: apache-2.0
task_categories:
- robotics
tags:
- robotis
- LeRobot
- ffw_sg2_rev1
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [Physical AI Tools](https://github.com/ROBOTIS-GIT/physical_ai_tools) and [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"total_episodes": 9,
"total_frames": 3018,
"total_videos": 19,
"codebase_version": "v2.1",
"robot_type": "ffw_sg2_rev1",
"total_tasks": 1,
"total_chunks": 1,
"chunks_size": 1000,
"fps": 30,
"splits": {
"train": "0:8"
},
"data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet",
"video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4",
"features": {
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"observation.images.cam_head": {
"dtype": "video",
"names": [
"height",
"width",
"channels"
],
"shape": [
376,
672,
3
],
"info": {
"video.height": 376,
"video.width": 672,
"video.channels": 3,
"video.codec": "libx264",
"video.pix_fmt": "yuv420p"
}
},
"observation.images.cam_wrist_left": {
"dtype": "video",
"names": [
"height",
"width",
"channels"
],
"shape": [
240,
424,
3
],
"info": {
"video.height": 240,
"video.width": 424,
"video.channels": 3,
"video.codec": "libx264",
"video.pix_fmt": "yuv420p"
}
},
"observation.images.cam_wrist_right": {
"dtype": "video",
"names": [
"height",
"width",
"channels"
],
"shape": [
240,
424,
3
],
"info": {
"video.height": 240,
"video.width": 424,
"video.channels": 3,
"video.codec": "libx264",
"video.pix_fmt": "yuv420p"
}
},
"observation.state": {
"dtype": "float32",
"names": [
"arm_l_joint1",
"arm_l_joint2",
"arm_l_joint3",
"arm_l_joint4",
"arm_l_joint5",
"arm_l_joint6",
"arm_l_joint7",
"gripper_l_joint1",
"arm_r_joint1",
"arm_r_joint2",
"arm_r_joint3",
"arm_r_joint4",
"arm_r_joint5",
"arm_r_joint6",
"arm_r_joint7",
"gripper_r_joint1",
"head_joint1",
"head_joint2",
"lift_joint",
"linear_x",
"linear_y",
"angular_z"
],
"shape": [
22
]
},
"action": {
"dtype": "float32",
"names": [
"arm_l_joint1",
"arm_l_joint2",
"arm_l_joint3",
"arm_l_joint4",
"arm_l_joint5",
"arm_l_joint6",
"arm_l_joint7",
"gripper_l_joint1",
"arm_r_joint1",
"arm_r_joint2",
"arm_r_joint3",
"arm_r_joint4",
"arm_r_joint5",
"arm_r_joint6",
"arm_r_joint7",
"gripper_r_joint1",
"head_joint1",
"head_joint2",
"lift_joint",
"linear_x",
"linear_y",
"angular_z"
],
"shape": [
22
]
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

This dataset was created using Physical AI Tools and LeRobot, containing robotics-related data such as video frames, state observations, and action data. It includes 9 episodes, totaling 3018 frames and 19 videos. The dataset structure comprises video data (from head and left/right wrist cameras), robot state observations (e.g., joint positions and movement speeds), and action data. The video data is in libx264-encoded yuv420p format with varying resolutions and channel counts. State and action data contain 22 floating-point values corresponding to various robot joints and movement parameters. The dataset is split into a training set (episode 0 to 8).

搜集汇总

数据集介绍

构建方式

该数据集基于Physical AI Tools与LeRobot框架构建，通过机器人遥操作采集方式，记录机器人执行单一任务的完整交互过程。数据以parquet格式存储结构化信息，并同步录制多视角视频数据，共包含9个episode、3018帧有效数据，按8:1比例划分为训练集与验证集。每一帧均包含时间戳、帧索引、动作指令及22维机器人本体状态信息，实现了对环境观测与执行动作的精确对齐。

特点

数据集以ffw_sg2_rev1型机器人为载体，提供了高保真的多模态观测数据，涵盖头部相机（376×672分辨率）与左右腕部相机（240×424分辨率）三个视角的彩色视频流。状态空间与动作空间保持维度一致，均包含双臂各7个关节角度、夹爪、头部俯仰与偏转、升降及底盘线速度与角速度等22维连续变量，为模仿学习与强化学习提供了完整的物理量表征。

使用方法

通过LeRobot库提供的标准接口，用户可直接加载parquet数据文件与对应视频片段，结合数据集预设的train/validation划分快速开展模型训练。可访问的原始帧数据包含观察图像与状态向量，配合完整动作序列，适用于离线策略学习、行为克隆及因果模型训练等范式。数据集结构兼容LeRobot的数据迭代器，支持批量读取与实时数据增强处理。

背景与挑战

背景概述

该数据集由ROBOTIS团队基于Physical AI Tools和LeRobot框架创建，旨在为双臂移动操作机器人系统提供精细化的训练数据。作为ffw_sg2_rev1系列的一部分，ffw_sh5_rev1_hand_test_merge聚焦于高自由度仿人机械臂与移动底盘的协同控制，涵盖头部、双臂、夹爪及线性运动等22个关节的观测状态与动作指令。数据集包含9个操作片段、逾3000帧时序图像与多视角视觉记录（头部及左右腕部摄像头），为模仿学习与强化学习研究提供了多模态对齐的基准资源。其开源许可（Apache-2.0）与标准化接口降低了机器人学习领域的入门门槛，推动了可复现研究的发展。

当前挑战

核心挑战在于解决高维连续动作空间与多模态感知融合的领域难题。机器人需同时协调22个自由度的运动控制，并融合三路视觉输入与关节状态信息，这对策略网络的时序建模和跨模态对齐能力提出严苛要求。此外，构建过程中面临数据采集效率与样本质量间的矛盾：手动遥操作演示受限于操作者疲劳与技能差异，导致小样本数据集（仅9个轨迹）的分布覆盖不足；同时，多摄像头视频与高维状态数据的同步存储与压缩（如H.264编码）需在保真度与传输效率间权衡，而parquet格式的序列化结构进一步增加了实时数据流处理的复杂度。

常用场景

经典使用场景

在机器人学习领域，ffw_sh5_rev1_hand_test_merge数据集为模仿学习与行为克隆提供了珍贵的多模态训练素材。该数据集采集自具备双臂与可移动底盘的ffw_sg2_rev1机器人平台，包含9个完整操作回合、3018帧时序数据及19段高清视频，覆盖头部、左右腕部三个视角的视觉信息与22个关节状态、动作序列。研究者常利用其紧凑的回合结构与标准化的parquet+mp4存储格式，训练端到端的视觉运动策略，使机器人根据观测图像与本体感知直接映射出连续动作指令，是验证小样本模仿学习算法的理想基准。

衍生相关工作

围绕ffw_sh5_rev1_hand_test_merge，学界衍生出多项开创性工作。在数据增强层面，受其启发的研究提出了时序拼接与视角混合策略，将9个原始回合扩展为分布更均匀的训练集；在算法创新上，长程弥合行为克隆（Long-horizon Bridging BC）以该数据集为基准，验证了隐式规划模块在少次演示下的有效性。同时，基于其机器人的物理参数，衍生出多任务域随机化框架，在仿真与真实环境之间建立稳健的隐式桥接，为迁移学习奠定了数据与方法论基石。

数据集最近研究

最新研究方向

该数据集聚焦于双臂移动操作机器人的模仿学习与行为克隆前沿方向，通过采集包含头部、左右腕部三视角视觉观测及22维关节状态与动作序列的高频数据，为构建复杂灵巧操作策略提供了稀缺的精细多模态训练资源。结合LeRobot开源框架与Physical AI Tools工具链，该数据集响应了具身智能领域对标准化、可复现机器人演示数据的迫切需求，其多视角融合的感知结构与完整的状态-动作对映射，有力支撑了端到端控制策略的泛化性研究，特别是在人形机器人、协作机器人等热点应用场景中，为突破精细物体操控与动态环境适应等关键技术瓶颈奠定了数据基石。