2BY2 Dataset

2BY2数据集是一个大规模的日常成对物体装配数据集，由上海奇志学院等机构创建，包含1034个实例和517个带有位姿和对称性注释的成对物体。该数据集覆盖了18个反映现实生活场景的细粒度任务，如插入插座、在花瓶中安排花卉、将面包放入烤面包机等。数据集通过系统的清理和注释确保了高质量和可靠性，为成对物体装配任务提供了一个全面的基准，支持通用方法的发展，以应对现实世界的挑战。

The 2BY2 Dataset is a large-scale daily paired object assembly dataset created by institutions including Shanghai Qizhi College. It contains 1034 instances and 517 paired objects with pose and symmetry annotations. The dataset covers 18 fine-grained tasks reflecting real-life scenarios, such as plugging into electrical sockets, arranging flowers in vases, placing bread into toasters, and so on. Through systematic cleaning and annotation, the dataset ensures high quality and reliability, serving as a comprehensive benchmark for paired object assembly tasks and supporting the development of general-purpose methods to address real-world challenges.

搜集汇总

数据集介绍

构建方式

2BY2数据集通过系统化的数据收集与标注流程构建而成，其核心步骤包括三维网格的获取、配对与规范化处理。研究团队从3D Warehouse、PartNet-Mobility等公开资源中筛选了517组日常物体对，涵盖18类细粒度装配任务（如插头插座组装、花瓶插花等）。每个物体对经过人工分类为基准物体（Object B）与装配物体（Object A），并通过自动化脚本统一缩放至标准尺度。采用蓝噪声采样技术生成1024个点的点云数据，同时标注了物体的对称性属性（如Z轴旋转对称或X轴镜像对称）。数据划分时严格保证训练集与测试集的几何多样性，测试集包含训练集未见的物体形状以验证泛化能力。

特点

该数据集的核心价值在于其面向日常场景的几何-语义双重标注特性。相较于传统工厂零件或几何碎片装配数据集，2BY2首次系统性地标注了517组物体对的6D位姿与对称性信息，覆盖插头插座、面包机等18类具有实际应用价值的任务场景。其创新性体现在三个方面：1) 通过物体功能角色分类（Object A/B）模拟人类装配逻辑；2) 引入基于重力约束的规范位姿定义（如将花瓶底部对齐XY平面）；3) 包含跨类别组合任务（如“盖子覆盖”大类下细分厨房容器、瓶盖等子任务），为研究几何匹配与功能约束的协同机制提供了丰富样本。

使用方法

使用该数据集时需遵循其层级化任务框架。研究者可选择针对单一细粒度任务（如钥匙开锁）训练模型，或挑战跨类别泛化任务（如所有插入类任务）。数据加载需处理包含点云坐标、对称性标签及规范位姿的标准化输入。典型流程包括：1) 通过两阶段SE(3)等变网络先预测基准物体位姿；2) 融合基准物体的SO(3)不变特征预测装配物体位姿。评估指标推荐采用位姿RMSE与倒角距离（Chamfer Distance）的组合，其中旋转误差需考虑标注的对称性约束。机器人实验验证时，可通过坐标变换将规范位姿映射到真实场景。

背景与挑战

背景概述

2BY2数据集由上海期智研究院、清华大学、东北大学等机构的研究团队于2025年提出，是首个面向日常物体配对组装任务的大规模三维数据集。该数据集包含517对物体共1,034个实例，涵盖插头插座组装、花束插瓶、面包烤制等18类细粒度任务场景，每对物体均标注了SE(3)位姿和对称性信息。相较于传统几何碎片组装数据集，2BY2创新性地聚焦具有功能语义的日常物品交互，为机器人灵巧操作研究提供了更贴近真实场景的基准测试平台。其提出的两步式SE(3)等变姿态估计方法在18项任务中均达到最先进性能，通过机器人实物实验验证了方法的泛化能力，推动了家庭服务机器人复杂操作任务的研究进展。

当前挑战

该数据集主要面临三重挑战：在领域问题层面，日常物体组装需同时处理几何匹配与功能约束的复杂耦合，如插头插座需满足导电接触的物理特性，而传统方法仅关注局部几何匹配导致语义失配；在构建过程层面，物体对的对称性标注需要人工定义旋转/镜像对称轴，且不同材质物体的摩擦系数等物理属性难以量化标注；在方法学层面，现有基于碎片拼接的组装算法无法处理动态接触关系，如面包与烤面包机间的软性形变接触。此外，数据采集需解决多源三维模型（3D Warehouse/PartNet-Mobility）的尺度统一与拓扑修复问题，这对构建具有物理合理性的组装基准提出严峻考验。

常用场景

经典使用场景

在机器人操作与三维物体组装领域，2BY2数据集为研究多任务成对物体组装提供了关键基准。该数据集通过涵盖18类细粒度日常任务（如插头插入插座、鲜花插入花瓶等），为算法开发提供了丰富的几何形状与功能关系对齐场景。其标注的517对物体实例包含位姿与对称性信息，特别适合验证模型在复杂空间关系推理中的性能，已成为评估SE(3)等变特征学习方法的黄金标准。

实际应用

该数据集直接支撑了家庭服务机器人的复杂操作能力开发。基于2BY2训练的模型已成功应用于UR5机械臂的插头插入、面包机装载等实际任务，成功率高达77.5%。在智能家居装配、工业零件精密对接等场景中，其提供的成对物体交互范式显著提升了系统在未知物体上的泛化性能，为具身智能的落地提供了关键技术支持。

衍生相关工作

2BY2催生了多项突破性研究，包括基于等变特征的两阶段位姿估计框架（SE(3)-Assembly）、自聚集扩散模型（Puzzlefusion++）等。其数据构建范式更启发了后续工作如DenseMatcher在单演示学习中的应用。该数据集建立的评估标准已被Neural Shape Mating等基准采纳，推动了整个机器人操作领域从几何匹配向语义化组装范式的转变。