openvla/modified_libero_rlds

---
license: mit
---
# Modified LIBERO RLDS Datasets

This repository contains the four modified [LIBERO](https://libero-project.github.io/main.html) datasets
used in the OpenVLA fine-tuning experiments, stored in RLDS data format. See Appendix E in the
[OpenVLA paper](https://arxiv.org/abs/2406.09246) for details about the fine-tuning experiments and
specific dataset modifications, and see the [OpenVLA GitHub README](https://github.com/openvla/openvla/blob/main/README.md)
for instructions on how to run OpenVLA in LIBERO environments.

## Citation

**BibTeX:**

```bibtex
@article{kim24openvla,
title={OpenVLA: An Open-Source Vision-Language-Action Model},
author={{Moo Jin} Kim and Karl Pertsch and Siddharth Karamcheti and Ted Xiao and Ashwin Balakrishna and Suraj Nair and Rafael Rafailov and Ethan Foster and Grace Lam and Pannag Sanketi and Quan Vuong and Thomas Kollar and Benjamin Burchfiel and Russ Tedrake and Dorsa Sadigh and Sergey Levine and Percy Liang and Chelsea Finn},
journal = {arXiv preprint arXiv:2406.09246},
year={2024}
}
```

Please also refer to the [LIBERO project repo](https://github.com/Lifelong-Robot-Learning/LIBERO) for the LIBERO citation.

---许可证：MIT---
# 经过修改的LIBERO RLDS数据集

本仓库包含用于OpenVLA微调实验的4个经过修改的[LIBERO](https://libero-project.github.io/main.html)数据集，以RLDS数据格式存储。有关微调实验与数据集具体修改细节，请参阅[OpenVLA论文](https://arxiv.org/abs/2406.09246)中的附录E；如需了解如何在LIBERO环境中运行OpenVLA，请参阅[OpenVLA GitHub README文档](https://github.com/openvla/openvla/blob/main/README.md)。

## 引用

**BibTeX格式：**

bibtex
@article{kim24openvla,
title={OpenVLA: An Open-Source Vision-Language-Action Model},
author={{Moo Jin} Kim and Karl Pertsch and Siddharth Karamcheti and Ted Xiao and Ashwin Balakrishna and Suraj Nair and Rafael Rafailov and Ethan Foster and Grace Lam and Pannag Sanketi and Quan Vuong and Thomas Kollar and Benjamin Burchfiel and Russ Tedrake and Dorsa Sadigh and Sergey Levine and Percy Liang and Chelsea Finn},
journal = {arXiv preprint arXiv:2406.09246},
year={2024}
}

如需获取LIBERO数据集的引用规范，请参阅[LIBERO项目仓库](https://github.com/Lifelong-Robot-Learning/LIBERO)。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动模型泛化能力的关键。Modified LIBERO RLDS数据集基于原始的LIBERO项目构建，该数据集专为机器人视觉语言动作模型设计。构建过程中，研究团队对原始数据进行了特定修改，以适应OpenVLA模型的微调需求，这些修改细节记录在OpenVLA论文的附录E中。数据以RLDS格式存储，确保了序列化数据的标准化与高效访问，为后续的模型训练提供了结构化的输入。

特点

该数据集的特点体现在其针对视觉语言动作模型的专门化设计。它包含了四个经过修改的LIBERO数据集，每个数据集都聚焦于机器人操作任务，融合了视觉观察、语言指令与动作序列。数据以RLDS格式组织，支持时间步长的序列记录，便于模型学习跨模态的对应关系。这种格式不仅提升了数据处理的效率，还增强了在仿真环境中复现实验的可行性，为机器人学习研究提供了可靠的基准。

使用方法

使用Modified LIBERO RLDS数据集时，研究人员需结合OpenVLA的代码库进行操作。首先，按照OpenVLA GitHub README中的指引，设置LIBERO仿真环境以运行模型。数据集可直接用于微调实验，通过加载RLDS格式的数据，模型能够学习视觉输入与语言指令下的动作策略。用户应参考相关论文了解修改细节，确保数据与实验设计的一致性，从而有效评估模型在复杂任务中的性能。

背景与挑战

背景概述

在机器人学习领域，具身智能的长期发展依赖于能够支持复杂任务泛化的高质量数据集。2024年，由斯坦福大学、加州大学伯克利分校等机构的研究团队联合发布的OpenVLA模型，其相关实验采用了基于LIBERO项目改造的Modified LIBERO RLDS数据集。该数据集源于LIBERO项目，旨在为终身机器人学习提供结构化、多样化的视觉语言任务环境。核心研究问题聚焦于如何通过大规模、多模态的离线数据，高效训练能够理解自然语言指令并执行精细操作任务的视觉语言动作模型，从而推动机器人从感知到行动的端到端学习范式发展，对自动化与人工智能的交叉领域产生了显著影响。

当前挑战

Modified LIBERO RLDS数据集所针对的领域挑战，在于解决机器人视觉语言动作策略学习中存在的样本效率低下与任务泛化能力不足的难题。具体而言，模型需从高维视觉观察与自然语言指令的对应关系中，推理出精确的连续控制动作，这对数据的对齐质量与任务多样性提出了极高要求。在构建过程中，挑战主要体现为对原始LIBERO数据集的改造与标准化：研究者需将原始数据转换为适用于强化学习数据流（RLDS）的统一格式，并针对OpenVLA的微调目标，精心设计数据子集的选择与修改，以确保数据既能保留原始任务的语义复杂性，又能满足特定模型架构的训练需求，这一过程涉及大量的工程协调与领域知识整合。

常用场景

经典使用场景

在机器人学习领域，Modified LIBERO RLDS数据集为视觉-语言-动作模型的微调提供了关键支持。该数据集源自LIBERO项目，专注于多任务、长视野的机器人操作场景，通过RLDS格式存储，便于高效处理序列决策数据。其经典使用场景在于训练和评估如OpenVLA等先进模型，使机器人能够理解自然语言指令并执行复杂的物体操纵任务，例如在模拟环境中完成开门、摆放物品等日常活动。

实际应用

在实际应用中，Modified LIBERO RLDS数据集可助力开发家庭服务机器人或工业自动化系统。基于该数据集训练的模型能够理解人类口头指令，执行如整理房间、组装零件等精细操作，提升机器人在非结构化环境中的实用性。此外，它还为模拟到现实的迁移学习提供桥梁，通过丰富的模拟数据降低真实世界机器人部署的成本与风险，加速智能机器人技术的商业化进程。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作。OpenVLA模型作为核心代表，利用这些数据进行微调，实现了视觉-语言-动作的端到端学习。同时，LIBERO项目本身推动了终身机器人学习框架的发展，而基于RLDS格式的扩展促进了数据标准化与共享。这些工作共同丰富了多模态机器人学习的生态系统，为后续研究如指令跟随、任务规划等提供了宝贵的数据基础与模型基准。