trz6i/lerobot0_5_3cams_WhitebackgroungSlowmiddletop

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=trz6i/lerobot0_5_3cams_WhitebackgroungSlowmiddletop">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 20,
"total_frames": 14807,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:20"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.top_right": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.top_left": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

许可证：Apache-2.0
任务类别：机器人学
标签：LeRobot
配置项：
- 配置名称：default
- 数据文件路径：data/*/*.parquet

本数据集基于[LeRobot (LeRobot)](https://github.com/huggingface/lerobot)构建。

点击下方链接可可视化本数据集：[数据集可视化工具](https://huggingface.co/spaces/lerobot/visualize_dataset?path=trz6i/lerobot0_5_3cams_WhitebackgroungSlowmiddletop)，配有明暗主题适配的可视化徽章。

## 数据集描述
- **主页：** [需补充更多信息]
- **论文：** [需补充更多信息]
- **许可证：** Apache-2.0

## 数据集结构
`meta/info.json` 文件的详细配置如下：
json
{
"代码库版本": "v3.0",
"机器人类型": "so_follower",
"总轨迹数": 20,
"总帧数": 14807,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（MB）": 100,
"视频文件总大小（MB）": 200,
"帧率": 30,
"数据集划分": {
"训练集": "0:20"
},
"数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"动作": {
"数据类型": "float32",
"关节名称": [
"shoulder_pan.pos（肩旋关节位置）",
"shoulder_lift.pos（肩抬关节位置）",
"elbow_flex.pos（肘屈关节位置）",
"wrist_flex.pos（腕屈关节位置）",
"wrist_roll.pos（腕转关节位置）",
"gripper.pos（夹爪位置）"
],
"维度": [6]
},
"观测状态": {
"数据类型": "float32",
"关节名称": [
"shoulder_pan.pos（肩旋关节位置）",
"shoulder_lift.pos（肩抬关节位置）",
"elbow_flex.pos（肘屈关节位置）",
"wrist_flex.pos（腕屈关节位置）",
"wrist_roll.pos（腕转关节位置）",
"gripper.pos（夹爪位置）"
],
"维度": [6]
},
"观测图像.右上视角": {
"数据类型": "视频",
"分辨率": [480, 640, 3],
"维度说明": ["高度", "宽度", "通道数"],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"通道数": 3,
"是否含音频": false
}
},
"观测图像.左上视角": {
"数据类型": "视频",
"分辨率": [480, 640, 3],
"维度说明": ["高度", "宽度", "通道数"],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"通道数": 3,
"是否含音频": false
}
},
"观测图像.腕部视角": {
"数据类型": "视频",
"分辨率": [480, 640, 3],
"维度说明": ["高度", "宽度", "通道数"],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"通道数": 3,
"是否含音频": false
}
},
"时间戳": {
"数据类型": "float32",
"维度": [1],
"维度说明": null
},
"帧索引": {
"数据类型": "int64",
"维度": [1],
"维度说明": null
},
"轨迹索引": {
"数据类型": "int64",
"维度": [1],
"维度说明": null
},
"全局索引": {
"数据类型": "int64",
"维度": [1],
"维度说明": null
},
"任务索引": {
"数据类型": "int64",
"维度": [1],
"维度说明": null
}
}
}

## 引用
**BibTeX格式引用：**
bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集对于模型训练至关重要。lerobot0_5_3cams_WhitebackgroungSlowmiddletop数据集依托LeRobot开源框架构建，通过真实机器人平台采集了20个完整任务片段，总计包含14807帧数据。数据以分块形式存储，每块约1000帧，采用Parquet格式高效组织，同时辅以AV1编码的MP4视频文件，帧率为30fps，确保了时序动作与视觉观测的精确对齐。整个采集过程在受控的白色背景环境中进行，机器人以缓慢中速执行操作，为模仿学习与强化学习提供了稳定可靠的数据源。

特点

该数据集的核心特征在于其多模态观测与精细的动作标注。数据集提供了来自三个固定视角的同步视觉流：顶部左右摄像头及腕部摄像头，均以480x640分辨率的三通道RGB图像呈现，全面覆盖了机器人操作场景。动作空间与状态观测均以六维浮点向量刻画，精确对应机器人关节位置，包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合。数据结构清晰，每帧均附带时间戳、帧索引、片段索引等元信息，支持复杂的时间序列分析与端到端策略学习。

使用方法

为便于研究者高效利用，数据集已预先划分为训练集，涵盖全部20个任务片段。用户可通过Hugging Face平台直接加载Parquet数据文件，或利用LeRobot提供的可视化工具在线浏览视频片段与对应动作序列。在模型训练中，可依据帧索引与片段索引构建数据加载管道，同步读取多视角图像与关节状态，进而训练视觉运动策略。数据集兼容主流机器人学习库，支持从行为克隆到离线强化学习等多种算法范式，为机器人操控任务的研究与开发奠定了坚实的数据基础。

背景与挑战

背景概述

在机器人学习领域，高质量、多模态数据集的构建对于推动机器人自主操作与决策能力的发展至关重要。lerobot0_5_3cams_WhitebackgroungSlowmiddletop数据集由Hugging Face的LeRobot项目团队创建，旨在为机器人模仿学习与视觉运动控制研究提供丰富的实验数据。该数据集采集自一个名为'So Follower'的机器人平台，通过三台摄像机（包括顶部左右视角与腕部视角）同步记录视觉观察，并同步记录机器人的关节位置状态与动作指令，涵盖了20个完整任务片段，共计约14807帧数据。其核心研究问题聚焦于如何利用多视角视觉输入与机器人状态信息，训练出能够适应复杂动态环境的智能控制策略，为机器人感知与行动一体化研究提供了重要的数据支撑。

当前挑战

该数据集致力于解决机器人模仿学习中的关键挑战，即如何从高维视觉观察中有效提取特征并生成精确、稳定的机器人动作序列。具体而言，挑战体现在多视角视觉信息的时空对齐与融合，以及从演示数据中学习具有泛化能力的策略，以应对真实世界中的光照变化、物体遮挡及背景干扰。在构建过程中，数据采集面临同步记录多路高清视频与机器人状态数据的工程复杂性，需确保时序一致性并处理大规模数据的存储与高效访问。此外，在白色背景且动作缓慢的特定场景下收集数据，虽有助于减少环境噪声，但也可能限制模型在更复杂、动态环境中的泛化性能，对数据多样性与代表性提出了更高要求。

常用场景

经典使用场景

在机器人学习领域，多视角视觉数据对于提升模型的环境感知能力至关重要。lerobot0_5_3cams_WhitebackgroungSlowmiddletop数据集通过集成顶部左右及腕部三路摄像头，捕捉了机械臂在白色背景下的缓慢操作序列，为模仿学习与视觉伺服控制提供了丰富的训练素材。研究者可借助该数据集，训练端到端的策略网络，使机器人能够从多角度视觉输入中直接推断出关节动作，实现精准的任务执行。

衍生相关工作

围绕该数据集，已衍生出一系列专注于多视角视觉机器人学习的经典工作。例如，结合LeRobot框架的研究者开发了基于时空注意力的策略网络，有效利用三路视频流进行动作生成。此外，该数据也被用于验证视觉-动作联合嵌入模型的性能，推动了自监督表征学习在机器人领域的应用，为后续的大规模机器人数据集构建与基准测试设立了重要参考。

数据集最近研究

最新研究方向

在机器人学习领域，多视角视觉数据正成为提升模型泛化能力的关键。lerobot0_5_3cams_WhitebackgroungSlowmiddletop数据集通过三摄像头配置，提供了丰富的视觉观测信息，为模仿学习与强化学习算法的融合研究开辟了新路径。当前前沿探索聚焦于利用此类多模态数据训练端到端策略网络，旨在克服真实世界中的动态环境适应难题。随着具身智能热潮的兴起，该数据集支持的研究方向与机器人自主操作、精细任务执行等热点紧密相连，其结构化动作与状态记录为算法验证提供了可靠基准，推动了机器人学习向更高效、更鲁棒的方向演进。