Dexora_Real-World_Dataset
收藏资源简介：
Dexora数据集结合了高保真度的真实世界遥操作数据和大规模模拟数据集。真实世界数据集包含11.5K个遥操作片段、2.92M帧和40.5小时的数据，通过混合遥操作系统收集，强调高自由度灵巧性，涵盖拾取放置、装配、关节操作和灵巧操作等多种任务类别。模拟数据集包含100K个在MuJoCo中生成的片段，与真实机器人的 embodiment 相匹配。数据集遵循LIBERO-2.1标准，包括同步的RGB观察、机器人本体感觉、动作和语言指令。
The Dexora dataset combines high-fidelity real-world teleoperation data and large-scale simulated datasets. The real-world dataset contains 11.5K teleoperation segments, 2.92M frames, and 40.5 hours of data, collected via a hybrid teleoperation system, which emphasizes high-degree-of-freedom dexterity and covers multiple task categories including pick-and-place, assembly, joint manipulation, and dexterous manipulation. The simulated dataset includes 100K segments generated in MuJoCo, which matches the embodiment of the real robot. The dataset follows the LIBERO-2.1 standard and includes synchronized RGB observations, robot proprioception, actions, and language instructions.
Dexora 真实世界数据集概述
数据集基本信息
- 数据集名称: Dexora 真实世界数据集 (Dexora Real-World Dataset)
- 发布地址: https://huggingface.co/datasets/Dexora/Dexora_Real-World_Dataset
- 发布日期: 2025年12月03日
- 许可证: MIT
数据集规模与构成
- 总演示集数: 11,500 个
- 总帧数: 2.92 百万帧
- 总时长: 约 40.5 小时
- 任务总数: 201 个
- 视频总数: 46,068 个
- 数据块总数: 12 个
- 数据块大小: 每个数据块包含 1000 个演示集
- 帧率: 20 FPS
数据采集与特点
- 采集系统: 采用混合遥操作系统，结合外骨骼（用于手臂控制）和 Vision Pro（用于灵巧手控制）。
- 机器人配置: 36自由度双手机器人，实现精确的双臂灵巧操作。
- 场景多样性: 覆盖 347 个物体，涉及 17 个语义类别（例如工具、容器、铰接物体、可变形物体、日常用品），包含不同的光照条件、背景杂乱环境。
- 同步视图: 包含四个同步的高分辨率视频流：一个以自我为中心的头部摄像头、左右手腕摄像头以及一个静态的第三人称场景摄像头，并与机器人本体感觉同步。
任务类别分布
数据集强调高自由度的灵巧操作，任务类别分布如下：
- 拾取与放置: 55%
- 灵巧操作: 20% （例如：拧瓶盖、使用笔、切韭菜）
- 组装: 15% （例如：分离嵌套碗、堆叠环形积木）
- 铰接物体操作: 10%
数据内容与结构
数据集遵循 LIBERO-2.1 标准。每个演示集是一个自包含的轨迹，包含以下内容：
观测数据
- 多视角RGB图像: 来自四个同步摄像头 (
observation.images.front,observation.images.top,observation.images.wrist_left,observation.images.wrist_right)。- 图像分辨率: 480x640 像素，3通道。
- 视频编码: AV1，像素格式为 yuv420p。
- 可选数据: 深度图、分割掩码（如果可用）。
机器人状态
- 关节位置/速度: 包含双臂和双手的 39 维状态向量。
- 左臂关节 (6个)
- 右臂关节 (6个)
- 左手关节 (12个)
- 右手关节 (12个)
- 头部关节 (2个)
- 脊柱关节 (1个)
动作数据
- 低级控制命令: 39 维动作向量，与 36 自由度双臂控制兼容。向量维度与机器人状态一一对应。
语言指令
- 每个任务提供 5 种不同的自然语言指令，均匀分布在所有轨迹中，以增强语言多样性。
元数据
包含时间戳、帧索引、演示集索引、任务索引等信息。
数据组织方式
数据按任务类别和分块组织，示例如下：
data/real/dexterous manipulation/data/chunk-000/episode_000000.parquet data/real/dexterous manipulation/videos/chunk-000/observation.images.front/episode_000000.mp4
元数据文件（如 episodes.jsonl, info.json, modality.json 等）位于每个任务类别的 meta 文件夹中。
对象清单与可复现性
为支持其他实验室和工业团队复现实验环境，数据集发布了精选的对象清单。
- 清单访问地址: https://docs.google.com/spreadsheets/d/1L2cgqvIukVziXc0OwpqNkb5j8c3bzC_K/edit?usp=sharing
- 清单元数据模式:
- 对象名称: 中英文双语标识。
- 任务类型:
pick-and-place,assemble,articulation,dexterous之一。 - 购买链接: 提供淘宝和亚马逊的直接链接，便于采购。
关联数据集
Dexora 语料库还包含一个大规模模拟数据集。
- 规模: 包含 100,000 个演示集，在 MuJoCo 中生成。
- 机器人配置: 使用与真实机器人相同的 36 自由度双臂双手机器人。
- 用途: 侧重于拾取与放置、组装和铰接等核心技能的大规模预训练，可用于在真实世界数据集上微调前的基础能力预训练。
数据使用与引用
- 引用格式: 提供了 BibTeX 引用格式。
- 论文标题: Dexora: Open-Source VLA for High-DoF Bimanual Dexterity
- 年份: 2026
- arXiv: xxxx.xxxxx (cs.RO)
