pvrohin/sfp_dataset

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=pvrohin/sfp_dataset">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "ur5e_aic",
"total_episodes": 1,
"total_frames": 1785,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:1"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"linear.x",
"linear.y",
"linear.z",
"angular.x",
"angular.y",
"angular.z"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"tcp_pose.position.x",
"tcp_pose.position.y",
"tcp_pose.position.z",
"tcp_pose.orientation.x",
"tcp_pose.orientation.y",
"tcp_pose.orientation.z",
"tcp_pose.orientation.w",
"tcp_velocity.linear.x",
"tcp_velocity.linear.y",
"tcp_velocity.linear.z",
"tcp_velocity.angular.x",
"tcp_velocity.angular.y",
"tcp_velocity.angular.z",
"tcp_error.x",
"tcp_error.y",
"tcp_error.z",
"tcp_error.rx",
"tcp_error.ry",
"tcp_error.rz",
"joint_positions.0",
"joint_positions.1",
"joint_positions.2",
"joint_positions.3",
"joint_positions.4",
"joint_positions.5",
"joint_positions.6"
],
"shape": [
26
]
},
"observation.images.left_camera": {
"dtype": "video",
"shape": [
256,
288,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 256,
"video.width": 288,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.center_camera": {
"dtype": "video",
"shape": [
256,
288,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 256,
"video.width": 288,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.right_camera": {
"dtype": "video",
"shape": [
256,
288,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 256,
"video.width": 288,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学领域，高质量的数据集对于推动智能体行为学习至关重要。sfp_dataset的构建依托于LeRobot框架，采用UR5e机械臂平台进行数据采集。该数据集通过记录16个完整任务片段，累计超过三万帧数据，以每秒30帧的速率同步捕获多模态信息。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。采集过程中，系统同时记录机械臂的六维动作指令、二十六维状态观测值以及三路摄像头视频流，为机器人控制策略的端到端学习提供了丰富的原始素材。

特点

该数据集在机器人操作任务中展现出显著的多模态特性。其核心特征在于同步整合了高维连续控制信号与多视角视觉感知数据，其中动作空间涵盖线性和角速度的六自由度控制指令，状态观测则精确描述末端执行器的位姿、速度及关节位置。视觉数据方面，左、中、右三路摄像头以256×288分辨率提供RGB视频流，采用AV1编码压缩，平衡了存储效率与图像质量。数据集结构设计严谨，通过时间戳、帧索引与片段索引实现精确对齐，支持对长序列任务进行时序分析，为模仿学习与强化学习算法提供了标准化的训练与评估基准。

使用方法

为有效利用该数据集进行机器人学习研究，研究者可通过HuggingFace平台直接加载数据。数据集已预分为训练集，涵盖全部16个任务片段，用户可借助LeRobot提供的工具链进行可视化与预处理。典型使用流程包括：读取Parquet文件以获取动作、状态及元数据；同时加载对应MP4格式的视频文件，进行多模态数据对齐。在模型训练中，可将图像序列与机械臂状态作为观测输入，动作数据作为监督信号，构建端到端的策略网络。数据集采用的标准化格式确保了与主流机器学习框架的兼容性，便于开展行为克隆、逆强化学习等前沿算法实验。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界交互数据对于推动模仿学习与强化学习算法的实际应用至关重要。sfp_dataset作为基于LeRobot平台构建的数据集，专注于记录UR5e机械臂在特定任务中的操作轨迹。该数据集通过多视角视觉观测、末端执行器状态及关节位置等丰富传感器信息，为研究机器人动作生成与策略泛化提供了实证基础。尽管其创建时间与核心研究团队的具体信息尚未公开，但数据集的结构设计体现了对机器人操作任务中状态-动作映射关系的深入探索，有望促进机器人技能学习的可复现性与跨场景适应能力的发展。

当前挑战

sfp_dataset致力于解决机器人操作任务中的动作预测与视觉-运动协调问题，其核心挑战在于如何从高维异构观测数据中学习鲁棒且泛化性强的策略。具体而言，数据集需应对多模态信息融合的复杂性，例如同步处理三路相机视频流与连续动作空间之间的时序对齐。在构建过程中，数据采集面临真实环境下的传感器噪声校准、机械臂控制指令的精确记录以及大规模数据的高效存储与检索等工程难题。此外，有限的任务多样性（仅包含单一任务）与样本规模可能制约模型在更广泛操作场景中的泛化能力，这要求后续研究在数据扩充与任务设计上寻求突破。

常用场景

经典使用场景

在机器人学习领域，sfp_dataset以其多模态数据特性，为模仿学习算法的训练与验证提供了经典场景。该数据集记录了UR5e机械臂在真实环境中的操作轨迹，包含多视角视觉观测、末端执行器状态及关节位置等丰富信息，使得研究者能够基于此构建从感知到动作的端到端策略模型。通过模拟人类示教过程，该数据集常用于训练机器人执行精细操作任务，如物体抓取与放置，从而推动机器人自主行为学习的前沿探索。

衍生相关工作

围绕sfp_dataset，已衍生出一系列专注于机器人视觉运动控制的经典研究工作。这些工作通常利用其多视角视频与状态数据，开发先进的深度模仿学习框架，如基于Transformer的序列建模方法或分层强化学习策略。此外，该数据集也促进了跨模态表示学习算法的创新，为机器人理解复杂场景并生成精确动作轨迹奠定了坚实基础，持续推动着自主机器人技术的研究浪潮。

数据集最近研究

最新研究方向

在机器人操作领域，多模态学习正成为推动智能体泛化能力提升的核心驱动力。sfp_dataset凭借其丰富的多视角视觉观测与高维状态动作记录，为模仿学习与强化学习算法的融合提供了关键数据支撑。当前研究聚焦于利用此类数据集训练端到端策略模型，旨在实现从原始像素到连续控制指令的直接映射，从而降低对精确状态估计的依赖。随着具身智能热潮的兴起，该数据集在促进机器人零样本泛化与跨任务适应方面展现出重要潜力，为开发在非结构化环境中具备鲁棒操作能力的通用机器人系统奠定了数据基础。