Open-X Embodiment (OXE) 数据集

arXiv2025-05-21 更新2025-05-24 收录

下载链接：

https://github.com/BerkeleyAutomation/fog_x

下载链接

链接失效反馈

资源简介：

Open-X Embodiment (OXE) 数据集是一个用于训练Transformer模型的大型机器人数据集，包含远程操作机器人演示的轨迹数据。数据集包含视频、文本和数值等多种模态，包括来自多个摄像头的流数据。OXE数据集被用于训练能够在新场景、新机器人和新任务中泛化的模型。Robo-DM是一个高效的开源云数据管理工具包，用于收集、共享和学习机器人数据，通过使用Extensible Binary Meta Language (EBML)格式的自包含格式存储机器人数据集，可以显著减少机器人轨迹数据的存储空间、传输成本和加载数据的时间。

The Open-X Embodiment (OXE) Dataset is a large-scale robotic dataset for training Transformer models, containing trajectory data from teleoperated robot demonstrations. The dataset includes multiple modalities such as video, text and numerical values, as well as stream data from multiple cameras. The OXE Dataset is used to train models that can generalize across novel scenarios, new robots and unseen tasks. Robo-DM is an efficient open-source cloud-based data management toolkit for collecting, sharing and learning robotic data. By storing robotic datasets in a self-contained format using the Extensible Binary Meta Language (EBML), it can significantly reduce the storage space, transmission costs and data loading time of robotic trajectory data.

提供机构：

加利福尼亚大学伯克利分校, 谷歌DeepMind

创建时间：

2025-05-21

原始信息汇总

🦊 Robo-DM 数据集概述

基本信息

名称: Robo-DM (原名称: fog_x)
类型: 机器人学习数据收集与管理框架
支持平台:
- Open-X-Embodiment (https://robotics-transformer-x.github.io/)
- HuggingFace (https://huggingface.co/)

核心特性

高效性: 兼顾速度与内存效率，支持主动元数据和延迟加载轨迹数据
灵活性: 支持分布式数据集分区
云存储: 提供原生云存储支持
可视化: 提供数据集可视化工具 (https://keplerc.github.io/openxvisualizer/)

技术文档

设计文档: https://docs.google.com/document/d/1woLQVLWsySGjFuz8aCsaLoc74dXQgIccnWRemjlNDws/edit#heading=h.irrfcedesnvr

安装方法

bash git clone https://github.com/BerkeleyAutomation/fog_x.git cd fog_x pip install -e .

使用示例

python import fog_x

数据收集

path = "/tmp/output.vla" traj = fog_x.Trajectory(path=path) traj.add(feature="arm_view", value="image1.jpg") traj.close()

数据加载

fog_x.Trajectory(path=path)

示例代码

数据收集与加载: ./examples/data_collection_and_load.py
从Open_X转换: ./examples/openx_loader.py
从H5转换: ./examples/h5_loader.py
运行基准测试: ./benchmarks/openx.py

开发指南

贡献指南: CONTRIBUTING.md

AI搜集汇总

数据集介绍

构建方式

Open-X Embodiment (OXE) 数据集通过Robo-DM工具包构建，采用基于云的高效数据管理方法。Robo-DM利用可扩展二进制元语言（EBML）作为自包含的存储格式，统一处理视觉、语言和动作数据流。数据收集过程中，首先以原始序列化形式存储，随后通过后处理进行压缩和重排，确保时间对齐的数据流高效组织。该方法显著降低了数据传输和存储成本，同时支持灵活的无损和有损压缩选项。

特点

OXE数据集的特点在于其高度多样化的机器人演示轨迹，涵盖多种场景、任务和机器人平台。数据集包含多模态数据流，如视频、文本和数值传感器数据，且支持不同采样率的同步记录。通过Robo-DM的高效压缩技术，数据集大小可减少高达70倍（有损压缩）或3.5倍（无损压缩），同时保持下游任务准确性。此外，内存映射解码缓存技术大幅提升了数据加载速度，比同类框架快50倍。

使用方法

OXE数据集的使用方法包括通过Robo-DM工具包进行数据加载、训练和可视化。数据集与主流深度学习框架（如TensorFlow和PyTorch）无缝集成，支持直接转换为HDF5或RLDS格式。用户可通过简洁的编程接口访问数据，或利用ROS2工具进行实时回放和3D可视化。训练时，Robo-DM的动态资源平衡机制自动优化解码与缓存加载，确保计算资源的高效利用。此外，数据集支持从云端直接下载或本地存储加载，适应不同规模的训练需求。

背景与挑战

背景概述

Open-X Embodiment (OXE) 数据集由加州大学伯克利分校、Google DeepMind等机构的研究团队于2025年推出，旨在为机器人学习提供大规模、多样化的遥操作演示数据。该数据集的核心研究问题聚焦于如何通过海量异构数据（包括多摄像头视频流、文本指令和数值传感器数据）训练基于Transformer的通用机器人策略模型，以实现在新场景、新任务和新机器人平台上的泛化能力。作为机器人学习领域的重要基础设施，OXE为Octo、Open-VLA等前沿模型提供了训练基础，推动了视觉-语言-动作多模态学习范式的发展。数据集采用Reinforcement Learning Datasets (RLDS)格式存储，但原始矩阵存储方式存在显著空间效率瓶颈。

当前挑战

OXE数据集面临双重挑战：在领域问题层面，机器人数据的多模态（视觉、语言、动作）、异构采样率以及时空对齐要求，使得传统单模态数据处理方法难以直接适用；在构建技术层面，原始RLDS格式导致数据体积庞大（单轨迹可达400MB），云存储传输成本高昂（8.9TB数据单次下载费用超1500美元），且现有框架如LeRobot存在文件结构复杂、加载速度慢的问题。具体表现为：(1) 多摄像头视频流与传感器数据的同步存储需要兼顾精度与压缩效率；(2) 不同频率数据流的时间对齐需要特殊处理；(3) 训练时随机访问模式与高压缩比视频解码存在计算资源竞争。这些挑战促使了Robo-DM工具包的开发，其通过EBML容器格式实现了70倍压缩比和50倍加载加速。

常用场景

经典使用场景

Open-X Embodiment (OXE) 数据集在机器人学习领域中被广泛用于训练基于Transformer的视觉-语言-动作模型。其经典使用场景包括多任务机器人操作，如物体抓取、放置、门开启等复杂动作序列的演示数据。通过整合来自不同机器人平台的多模态数据（包括视频流、语言指令和动作序列），OXE为研究者提供了丰富的跨场景泛化能力验证平台。数据集独特的时序对齐特性使得模型能够学习到传感器数据与动作执行之间的精确映射关系。

衍生相关工作

OXE数据集催生了多个机器人学习领域的里程碑式工作。Octo模型利用其80万条演示轨迹训练出首个十亿参数级的通用机器人策略；Open-VLA在此基础上开发了视觉语言动作联合建模框架；而ICRT则通过OXE数据验证了上下文模仿学习的有效性。这些衍生研究共同推动了机器人从单一任务专家向多任务通用体的范式转变，相关成果已应用于工业自动化与家庭服务机器人领域。

数据集最近研究