Dexora_Real-World_Dataset

Dexora数据集结合了高保真度的真实世界遥操作数据和大规模模拟数据集。真实世界数据集包含11.5K个遥操作片段、2.92M帧和40.5小时的数据，通过混合遥操作系统收集，强调高自由度灵巧性，涵盖拾取放置、装配、关节操作和灵巧操作等多种任务类别。模拟数据集包含100K个在MuJoCo中生成的片段，与真实机器人的 embodiment 相匹配。数据集遵循LIBERO-2.1标准，包括同步的RGB观察、机器人本体感觉、动作和语言指令。

The Dexora dataset combines high-fidelity real-world teleoperation data and large-scale simulated datasets. The real-world dataset contains 11.5K teleoperation segments, 2.92M frames, and 40.5 hours of data, collected via a hybrid teleoperation system, which emphasizes high-degree-of-freedom dexterity and covers multiple task categories including pick-and-place, assembly, joint manipulation, and dexterous manipulation. The simulated dataset includes 100K segments generated in MuJoCo, which matches the embodiment of the real robot. The dataset follows the LIBERO-2.1 standard and includes synchronized RGB observations, robot proprioception, actions, and language instructions.

原始信息汇总

Dexora 真实世界数据集概述

数据集基本信息

• 数据集名称: Dexora 真实世界数据集 (Dexora Real-World Dataset)
• 发布地址: https://huggingface.co/datasets/Dexora/Dexora_Real-World_Dataset
• 发布日期: 2025年12月03日
• 许可证: MIT

数据集规模与构成

• 总演示集数: 11,500 个
• 总帧数: 2.92 百万帧
• 总时长: 约 40.5 小时
• 任务总数: 201 个
• 视频总数: 46,068 个
• 数据块总数: 12 个
• 数据块大小: 每个数据块包含 1000 个演示集
• 帧率: 20 FPS

数据采集与特点

• 采集系统: 采用混合遥操作系统，结合外骨骼（用于手臂控制）和 Vision Pro（用于灵巧手控制）。
• 机器人配置: 36自由度双手机器人，实现精确的双臂灵巧操作。
• 场景多样性: 覆盖 347 个物体，涉及 17 个语义类别（例如工具、容器、铰接物体、可变形物体、日常用品），包含不同的光照条件、背景杂乱环境。
• 同步视图: 包含四个同步的高分辨率视频流：一个以自我为中心的头部摄像头、左右手腕摄像头以及一个静态的第三人称场景摄像头，并与机器人本体感觉同步。

任务类别分布

数据集强调高自由度的灵巧操作，任务类别分布如下：

• 拾取与放置: 55%
• 灵巧操作: 20% （例如：拧瓶盖、使用笔、切韭菜）
• 组装: 15% （例如：分离嵌套碗、堆叠环形积木）
• 铰接物体操作: 10%

数据内容与结构

数据集遵循 LIBERO-2.1 标准。每个演示集是一个自包含的轨迹，包含以下内容：

观测数据

• 多视角RGB图像: 来自四个同步摄像头 (observation.images.front, observation.images.top, observation.images.wrist_left, observation.images.wrist_right)。
  • 图像分辨率: 480x640 像素，3通道。
  • 视频编码: AV1，像素格式为 yuv420p。
• 可选数据: 深度图、分割掩码（如果可用）。

机器人状态

• 关节位置/速度: 包含双臂和双手的 39 维状态向量。
  • 左臂关节 (6个)
  • 右臂关节 (6个)
  • 左手关节 (12个)
  • 右手关节 (12个)
  • 头部关节 (2个)
  • 脊柱关节 (1个)

动作数据

• 低级控制命令: 39 维动作向量，与 36 自由度双臂控制兼容。向量维度与机器人状态一一对应。

语言指令

• 每个任务提供 5 种不同的自然语言指令，均匀分布在所有轨迹中，以增强语言多样性。

元数据

包含时间戳、帧索引、演示集索引、任务索引等信息。

数据组织方式

数据按任务类别和分块组织，示例如下：

data/real/dexterous manipulation/data/chunk-000/episode_000000.parquet data/real/dexterous manipulation/videos/chunk-000/observation.images.front/episode_000000.mp4

元数据文件（如 episodes.jsonl, info.json, modality.json 等）位于每个任务类别的 meta 文件夹中。

对象清单与可复现性

为支持其他实验室和工业团队复现实验环境，数据集发布了精选的对象清单。

• 清单访问地址: https://docs.google.com/spreadsheets/d/1L2cgqvIukVziXc0OwpqNkb5j8c3bzC_K/edit?usp=sharing
• 清单元数据模式:
  • 对象名称: 中英文双语标识。
  • 任务类型: pick-and-place, assemble, articulation, dexterous 之一。
  • 购买链接: 提供淘宝和亚马逊的直接链接，便于采购。

关联数据集

Dexora 语料库还包含一个大规模模拟数据集。

• 规模: 包含 100,000 个演示集，在 MuJoCo 中生成。
• 机器人配置: 使用与真实机器人相同的 36 自由度双臂双手机器人。
• 用途: 侧重于拾取与放置、组装和铰接等核心技能的大规模预训练，可用于在真实世界数据集上微调前的基础能力预训练。

数据使用与引用

• 引用格式: 提供了 BibTeX 引用格式。
• 论文标题: Dexora: Open-Source VLA for High-DoF Bimanual Dexterity
• 年份: 2026
• arXiv: xxxx.xxxxx (cs.RO)

搜集汇总

数据集介绍

构建方式

在机器人灵巧操作领域，高质量的真实世界数据对于训练具有高自由度双手协调能力的模型至关重要。Dexora真实世界数据集通过一种创新的混合遥操作系统构建，该系统结合了用于手臂控制的Exoskeleton外骨骼与用于灵巧手部控制的Vision Pro设备，从而在真实硬件上实现了精确的36自由度双手操作演示。数据采集过程涵盖了347个物体，跨越拾放、组装、关节操作及灵巧操控四大任务类别，总计收集了11.5K个演示片段、292万帧图像以及40.5小时的数据，所有数据均严格遵循LIBERO-2.1标准进行同步与标注。

特点

该数据集的核心特征在于其专注于高自由度双手灵巧操作，突破了传统夹爪数据集的局限。其数据分布中，灵巧操控任务占比达20%，组装任务占15%，充分体现了对精细操作与双手协调能力的高要求。数据集提供了高度保真的多视角同步观测，包括头戴式、左右腕戴式及静态第三人称场景相机共四个视角的高分辨率RGB视频流，并与36自由度的机器人本体感知数据精确同步。此外，数据集附带了详尽的物体清单与采购链接，确保了实验环境的高度可复现性。

使用方法

为便于研究使用，数据集严格遵循LIBERO-2.1标准结构进行组织。每个演示片段均以自包含的轨迹形式存储，包含多视角观测、机器人状态、低层级控制指令及自然语言任务描述。用户可通过标准的Parquet文件格式加载数据，利用提供的元数据文件快速了解数据集统计信息与结构。数据集支持直接用于视觉语言动作模型的训练与微调，尤其适用于从大规模仿真数据预训练到真实世界数据微调的迁移学习范式。研究者可依据发布的物体清单重建实验环境，以进行可控的基准测试或开发新的任务套件。

背景与挑战

背景概述

在机器人操作领域，实现高自由度双手灵巧操控是迈向通用人工智能的关键挑战。Dexora真实世界数据集于2025年12月发布，由相关研究团队构建，旨在为视觉语言动作模型提供大规模、高保真的双臂双手操作数据。该数据集包含1.15万条遥操作轨迹，涵盖347种物体和四大任务类别，其核心研究问题聚焦于如何利用真实世界交互数据训练机器人执行复杂的双手协调与精细操作任务。通过提供同步多视角视频、机器人本体感知与语言指令，该数据集有望推动模仿学习与强化学习在实体机器人上的应用，为家庭服务与工业自动化等场景的灵巧操作研究奠定基础。

当前挑战

Dexora数据集致力于解决高自由度双手灵巧操作这一领域核心问题，其挑战在于如何让机器人从多模态数据中学习长时程、细粒度的物体交互策略，并适应真实环境中的光照变化与背景干扰。在构建过程中，研究团队面临多重挑战：采集高保真遥操作数据需设计外骨骼与头显结合的混合控制系统，确保36个自由度的精确同步；数据标注需遵循LIBERO-2.1标准，整合多路视频、关节状态与控制指令；此外，为保障可复现性，需精心筛选347个物体并公开采购清单，这涉及跨平台链接维护与语义分类的一致性管理。

常用场景

经典使用场景

在机器人灵巧操作领域，Dexora 真实世界数据集为训练视觉语言动作模型提供了高保真的示范数据。其经典使用场景集中于利用大规模、多视角的遥操作轨迹，对高自由度双手机器人进行端到端的策略学习。研究者通过该数据集提供的同步多视角RGB观测、36自由度本体感知及语言指令，能够构建从视觉感知到精细动作映射的复杂模型，尤其适用于需要双手协调的灵巧操作任务，如拧瓶盖、使用工具或组装物体，从而在真实物理环境中实现鲁棒且泛化能力强的控制策略。

衍生相关工作

围绕Dexora数据集，已衍生出一系列专注于视觉语言动作模型架构与训练范式的经典工作。这些研究通常利用其大规模仿真与真实数据配对的特点，探索仿真预训练结合真实数据微调的高效学习路径。相关工作也深入研究了如何利用其多视角观测和丰富的语言指令，提升模型对操作意图的理解与空间推理能力。此外，基于该数据集构建的标准化评测基准，持续推动着社区在双手灵巧操作、长时程任务规划以及跨物体泛化等方向上的算法进步与性能比较。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，Dexora真实世界数据集凭借其高保真度、大规模的双手机器人遥操作数据，正成为推动视觉语言动作模型发展的关键资源。该数据集包含超过一万条涵盖复杂场景的交互轨迹，其多视角同步记录与高自由度动作捕捉能力，为研究跨模态表征学习与具身智能策略泛化提供了前所未有的实验基础。当前前沿探索聚焦于利用此类数据训练能够理解自然语言指令并执行精细双手协作任务的通用模型，例如在非结构化环境中完成组装、操控可变形物体等长时程操作。这一方向与工业自动化、家庭服务机器人等热点应用紧密相连，其开源特性显著降低了相关研究的复现门槛，有望加速机器人从受限场景向开放世界自主操作的范式转变。