shenj/svla_train_piper_isaac_2cam

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "isaac_piper",
"total_episodes": 50,
"total_frames": 23448,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:50"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"joint1",
"joint2",
"joint3",
"joint4",
"joint5",
"joint6",
"joint7",
"joint8"
],
"shape": [
8
]
},
"observation.state": {
"dtype": "float32",
"names": [
"joint1",
"joint2",
"joint3",
"joint4",
"joint5",
"joint6",
"joint7",
"joint8"
],
"shape": [
8
]
},
"observation.images.top": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法进步的关键基石。svla_train_piper_isaac_2cam数据集依托LeRobot平台构建，通过Isaac仿真环境采集了Piper机器人执行任务的交互数据。该数据集以30帧每秒的速率记录了50个完整任务片段，共计23,448帧数据，并以分块Parquet文件格式高效存储，确保了数据的结构化和可扩展性。

特点

该数据集的核心特征在于其多模态与高维度的观测空间设计。它不仅包含了机器人八个关节的状态与动作向量，还同步提供了来自顶部与腕部双摄像头的视觉流，每路视频分辨率均为640x480像素，采用H.264编码。这种状态与视觉信息的紧密对齐，为模仿学习与强化学习算法提供了丰富的时空上下文，尤其适合复杂操作任务的策略建模。

使用方法

研究人员可通过LeRobot库或兼容框架直接加载此数据集。数据以分块形式组织，便于流式读取与分布式处理。典型应用包括端到端机器人策略训练、行为克隆或视觉运动控制模型的验证。用户可依据帧索引、片段索引等元数据灵活筛选样本，并利用其标准化的特征结构，快速集成至现有的机器学习流程中。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。svla_train_piper_isaac_2cam数据集由LeRobot项目创建，该项目隶属于HuggingFace生态系统，致力于构建开放、标准化的机器人数据集与工具链。该数据集聚焦于Piper机器人平台，通过双摄像头（顶部与腕部）采集了包含状态观测、关节动作及同步视频的多模态交互轨迹，旨在为机器人操作任务提供丰富的训练资源，以促进端到端策略学习的研究与应用。

当前挑战

该数据集致力于解决机器人操作中的策略学习问题，其核心挑战在于如何从高维视觉与状态观测中学习出鲁棒且泛化能力强的控制策略。具体而言，挑战包括处理视觉观测中的光照变化、遮挡以及视角差异，同时需协调多模态输入（如图像与关节状态）以实现精确的动作预测。在数据构建层面，挑战涉及真实机器人数据采集的耗时性与成本，确保多传感器（双摄像头与关节编码器）的精确时间同步，以及管理大规模视频数据所带来的存储与处理复杂度。

常用场景

经典使用场景

在机器人学习领域，svla_train_piper_isaac_2cam数据集以其多模态特性成为经典资源，它整合了Isaac Piper机器人的八维关节状态、动作指令以及双摄像头视觉信息，为模仿学习与强化学习算法提供了丰富的训练素材。研究者常利用该数据集训练端到端的控制策略，使机器人能够从视觉观察中直接推断出关节动作，实现诸如抓取、放置等精细操作任务。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与泛化能力不足的挑战，通过提供真实世界采集的多视角视频与同步状态数据，支持了视觉-动作映射模型的开发。它促进了跨模态表示学习的研究，帮助解决从高维视觉输入到低维动作空间的复杂映射问题，为数据驱动的机器人控制方法奠定了实证基础。

衍生相关工作

围绕该数据集，学术界衍生了一系列经典研究工作，包括基于视觉的模仿学习框架、多传感器融合的强化学习算法，以及跨任务迁移学习模型。这些工作不仅推动了LeRobot等开源平台的发展，还启发了后续大规模机器人数据集的构建，加速了通用机器人智能体的探索进程。