reece-omahoney/libero-10-adv-steps-penalty

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=reece-omahoney/libero-10-adv-steps-penalty">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": null,
"total_episodes": 500,
"total_frames": 166648,
"total_tasks": 10,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 10,
"splits": {
"train": "0:500"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.image": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"fps": 10.0,
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 10,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.image2": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"fps": 10.0,
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 10,
"video.channels": 3,
"has_audio": false
}
},
"observation.state": {
"dtype": "float32",
"shape": [
8
],
"names": [
"state"
],
"fps": 10.0
},
"action": {
"dtype": "float32",
"shape": [
7
],
"names": [
"actions"
],
"fps": 10.0
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"success": {
"dtype": "bool",
"shape": [
1
],
"names": null
},
"observation.language.advantage_label": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法进步的关键基石。libero-10-adv-steps-penalty数据集依托LeRobot平台构建，通过系统化的数据采集流程，记录了机器人执行10项不同任务时的交互序列。该数据集包含500个完整的情节，总计超过16万帧数据，以每秒10帧的速率采集，确保了时序信息的连贯性。数据以分块形式存储于Parquet文件中，并辅以相应的视频文件，形成了多模态的数据结构，为机器人策略学习提供了丰富的原始素材。

特点

该数据集在机器人视觉与状态表征方面展现出显著特色。其核心特征在于提供了双视角的RGB图像观测，每帧图像分辨率均为256x256，编码为AV1格式，有效平衡了视觉质量与存储效率。同时，数据集整合了8维的机器人状态向量与7维的动作空间，并标注了每帧的时间戳、情节索引及任务索引。尤为重要的是，每个情节均标注了成功与否的布尔标签，这为评估机器人任务完成度提供了直接依据。这种结构化的多模态设计，使得数据集能够支持从端到端模仿学习到强化学习等多种机器人学习范式。

使用方法

为便于研究者利用该数据集进行算法开发，数据集已预先划分为训练集，涵盖全部500个情节。用户可通过加载Parquet文件直接访问结构化的观测、动作及元数据序列，或通过关联的视频路径获取原始的视觉流。在具体应用中，研究者可依据任务索引筛选特定任务的数据，或利用成功标签进行有监督的性能评估。数据集与LeRobot生态系统深度集成，建议结合其提供的可视化工具进行数据探索与模型调试，从而高效地应用于机器人策略训练、行为克隆或离线强化学习等研究场景。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究长期面临高质量、大规模真实世界数据稀缺的困境。libero-10-adv-steps-penalty数据集应运而生，它依托于LeRobot开源框架构建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集收录了涵盖10种不同任务的500个完整交互轨迹，总计超过16万帧图像与状态-动作对，其核心研究问题聚焦于如何利用结构化、多样化的示教数据来提升机器人对复杂长程任务的泛化与执行能力。通过提供高分辨率的视觉观察与精确的控制指令，该数据集为推进端到端机器人策略学习奠定了坚实的数据基础，有望在家庭服务机器人、工业自动化等场景中发挥关键作用。

当前挑战

该数据集致力于解决机器人操作任务中策略泛化与长程规划的核心挑战。具体而言，其旨在克服传统方法在应对多样化物体、复杂场景布局及多步骤任务序列时表现出的脆弱性，例如在非结构化环境中完成“拾取-放置-组装”等复合操作。在构建过程中，挑战同样显著：高质量示教数据的采集需要精密的机器人硬件平台与稳定的控制算法，以确保轨迹的精确性与安全性；多模态数据（如双视角视频、机器人状态）的同步对齐与高效存储带来了工程复杂性；此外，设计具有足够多样性且涵盖失败案例的任务集，以支持鲁棒策略的学习，亦是一项艰巨的工作。

常用场景

经典使用场景

在机器人学习领域，libero-10-adv-steps-penalty数据集为模仿学习与强化学习算法的训练与评估提供了关键支持。该数据集包含500个任务片段，涵盖10种不同任务，通过高帧率视觉观测与状态动作对记录，典型应用于训练机器人执行复杂操作序列，如物体抓取与放置，以提升策略在多样化环境中的泛化能力。

衍生相关工作

基于该数据集衍生的经典工作主要集中在视觉运动策略学习领域，例如结合Transformer架构的序列建模方法，或利用扩散模型生成鲁棒动作序列。这些研究进一步拓展了多任务学习与跨领域迁移的框架，为机器人感知与控制一体化提供了新的算法范例。

数据集最近研究

最新研究方向

在机器人学习领域，多任务操作与视觉感知的融合正成为前沿探索的核心议题。libero-10-adv-steps-penalty数据集以其包含的10项复杂任务、500个完整交互序列及高分辨率视觉数据，为研究提供了丰富的实验基础。当前研究聚焦于如何利用此类数据集训练通用型机器人策略，特别是在强化学习框架下优化动作序列的生成与评估。随着开源平台LeRobot的推广，社区正致力于开发更高效的模仿学习与离线强化学习算法，以提升机器人在非结构化环境中的适应性与泛化能力。这些进展不仅推动了家庭服务机器人等实际应用场景的落地，也为具身智能的理论突破奠定了数据支撑。