3DWay-Data

3DWay数据集是用于训练机器人操作泛化模型的数据资源，旨在通过3D一致路径点提升机器人操作的泛化能力。该数据集整合了三个公开机器人数据集：DROID、RH20T和RLBench。每个数据集分别以JSON文件形式提供训练注释，并以TAR归档文件形式提供对应的图像数据。用户可通过tar命令直接解压图像文件。数据集遵循混合上游许可证，具体条款请参见LICENSE文件。该数据集适用于机器人操作任务的模型训练、路径点预测和泛化性能评估等研究场景。The 3DWay dataset is a data resource for training robot manipulation generalization models, aiming to improve the generalization ability of robot manipulation through 3D-consistent waypoints. This dataset integrates three public robot datasets: DROID, RH20T, and RLBench. Each dataset provides training annotations in JSON files and corresponding image data in TAR archive files. Users can directly extract image files using the tar command. The dataset follows a mixed upstream license, and specific terms can be found in the LICENSE file. This dataset is suitable for research scenarios such as model training, waypoint prediction, and generalization performance evaluation for robot manipulation tasks.

原始信息汇总

3DWay Dataset 数据集概述

基本信息

• 数据集名称：3DWay Dataset
• 所属项目：3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints
• 许可证：混合上游许可证（mixed upstream licenses），具体细节请参阅 LICENSE 文件
• 项目主页：https://ziqin-h.github.io/3DWay/

数据集内容

该数据集由三个机器人数据集的训练数据组成，每个数据集均包含一个 .json 注释文件和一个包含图像数据的 .tar 归档文件：

数据集来源	注释文件	图像归档文件
Droid	droid.json	droid.tar
RH20T	rh20t.json	rh20t.tar
RLBench	rlbench.json	rlbench.tar

• 每个 .json 文件包含对应的训练注释（训练标注）。
• 每个 .tar 归档文件包含关联的图像数据。

使用方法

可通过 tar 命令直接解压图像归档文件，例如： bash tar -xvf droid.tar tar -xvf rh20t.tar tar -xvf rlbench.tar

引用方式

该数据集对应的论文发表于 ECCV 2026：

@inproceedings{3dway2026, title = {3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints}, author = {Huang, Ziqin and Li, Yingyue and Zhang, Chenyangguang and Zhang, Ruida and Chen, Yuxin and Wang, Gu and Liu, Xingyu and Tomizuka, Masayoshi and Ji, Xiangyang}, booktitle = {European Conference on Computer Vision (ECCV)}, year = {2026} }

许可说明

本仓库包含的数据源自多个上游数据集，并以混合上游许可证发布，具体许可条款请参阅 LICENSE 文件。

搜集汇总

数据集介绍

构建方式

在机器人操作泛化性研究中，构建兼具三维一致性与多源异构特性的训练数据集成为关键环节。3DWay-Data 以 DROID、RH20T 与 RLBench 三个上游机器人数据集为基础，通过整合其原始图像与标注信息形成统一资源。每个来源均以 JSON 文件保存训练标注，并以 TAR 归档封装对应图像数据，分别命名为 droid.json/droid.tar、rh20t.json/rh20t.tar 和 rlbench.json/rlbench.tar。用户可直接使用 tar 命令解压图像归档，从而获得与标注对齐的视觉样本。该构建方式在保留各上游数据分布的同时，为三维一致路点学习提供了跨域训练素材。

特点

该数据集的核心特征在于其多源融合与三维一致路点标注的协同设计。源自 DROID、RH20T 和 RLBench 的数据覆盖了多样化的机器人操作场景、视角与任务类型，有助于提升模型在真实环境中的泛化能力。图像数据以 TAR 归档形式组织，标注则以 JSON 结构化存储，便于高效读取与批量处理。数据集采用混合上游许可证，需参照 LICENSE 文件明确各来源的使用条件。上述特点使其适用于机器人操作策略学习、三维路点预测及跨域泛化评估等研究任务。

使用方法

使用 3DWay-Data 时，研究者需从仓库获取六个文件，即三个 JSON 标注文件与三个 TAR 图像归档。通过 tar -xvf droid.tar、tar -xvf rh20t.tar 与 tar -xvf rlbench.tar 命令解压图像数据，随后依据同名 JSON 文件中的标注建立图像与训练目标的对应关系。数据可直接用于训练三维一致路点模型，也可作为机器人操作泛化实验的基准资源。使用前应查阅 LICENSE 文件，遵循混合上游许可证的具体条款。相关代码与项目页面分别发布于 GitHub 与项目主页，供复现与扩展研究。

背景与挑战

背景概述

机器人操作策略的泛化能力长期受限于真实世界演示数据的稀缺与异构。3DWay-Data于2026年由上海科技大学与加州大学伯克利分校等机构的研究者构建，旨在支撑三维一致路点表征学习，以统一框架整合DROID、RH20T与RLBench等来源，覆盖多样场景、物体与任务。该数据集回应了跨平台操作策略迁移的核心难题，为ECCV 2026发表的3DWay方法提供训练基础，推动了三维感知与操作泛化的交叉研究，对提升机器人系统在未知环境中的适应性具有参考价值。

当前挑战

机器人操作领域面临演示数据分布差异大、动作空间异构以及三维几何监督匮乏等难题，现有基准多局限于单一平台或二维观测，难以支撑跨域泛化评估。构建3DWay-Data时，需协调DROID、RH20T与RLBench在传感器配置、标注格式与运动学定义上的显著差异，完成图像归档与注释对齐；同时，混合上游许可证带来合规复杂性，大规模图像数据的存储与提取亦对数据管道提出工程要求，这些因素共同构成了数据集在一致性与可扩展性方面的主要挑战。

常用场景

经典使用场景

在机器人操作泛化性研究的浪潮中，3DWay-Data作为支撑三维一致路点学习范式的核心数据基座，其经典使用场景聚焦于跨具身平台与跨任务构型的策略训练。该数据集汇聚了DROID、RH20T与RLBench三大来源的视觉观测与动作标注，研究者通常将其输入至以三维路点作为中间表征的模仿学习框架中，通过预测物体在笛卡尔空间中的关键位姿序列来驱动机械臂完成抓取、放置与工具使用等操作。得益于多源数据的互补性，模型得以在真实场景与仿真环境之间建立几何一致性约束，从而在未见过的物体布局与光照条件下保持稳健的操作性能。

解决学术问题

该数据集直击机器人操作学习领域中长期存在的泛化瓶颈与三维空间感知缺陷。传统二维图像策略在面对视角变化、物体遮挡及深度歧义时往往表现脆弱，而3DWay-Data所提供的多视角、多平台同步观测与精确动作标注，为学习三维一致的路点表征提供了充分监督。其解决的问题涵盖跨域迁移中的几何对齐、稀疏奖励下的长程任务分解，以及不同机械臂构型间的动作空间统一化。通过将操作策略锚定于任务相关的三维路点，学术研究得以在统一框架下系统评估视觉表征的几何鲁棒性，对推动具身智能从过拟合走向真正泛化具有深远意义。

衍生相关工作

围绕3DWay-Data，学界已衍生出一系列聚焦三维路点表征与跨具身泛化的经典工作。后续研究在此基础上探索了将路点预测与扩散策略相结合以增强多模态动作分布建模，亦有工作引入神经辐射场或三维高斯泼溅来提升观测的几何保真度。部分文献将该数据集作为基准，系统比较了不同三维骨干网络在操作任务中的迁移效率，另有研究利用其多源特性开展仿真到现实的域适应方法验证。这些衍生工作共同丰富了以三维空间理解为纽带的机器人操作学习生态，并持续推动该领域向更高层次的泛化能力演进。