Object-Object Spatial Relationships (OOR) Dataset

该数据集是通过对预训练的2D扩散模型生成的合成图像进行3D提升处理而创建的，旨在捕捉对象间相对位置和尺寸的3D对象对象空间关系样本。数据集包含475个不同的对象关系场景，利用文本上下文进行数据增强，以学习对象间的空间关系。

This dataset is created by performing 3D lifting on synthetic images generated by a pre-trained 2D diffusion model, with the goal of acquiring 3D spatial relational samples that reflect the relative positions and sizes between objects. The dataset contains 475 distinct object relational scenarios, and leverages textual context for data augmentation to facilitate the learning of spatial relationships among objects.

搜集汇总

数据集介绍

构建方式

Object-Object Spatial Relationships (OOR) Dataset的构建方法基于预训练的2D扩散模型生成的合成图像，通过将这些图像提升为3D样本来捕捉对象间的空间关系。具体流程包括：首先，使用文本到图像模型生成符合特定空间关系描述的2D图像；其次，通过伪多视图生成和结构从运动（SfM）技术，从这些2D图像中重建3D点云；最后，通过网格配准方法提取对象间的相对姿态和尺度。该方法避免了繁琐的手动标注，利用合成数据的高效生成能力，覆盖了475种不同的OOR场景。

特点

OOR Dataset的特点在于其多样性和真实性，能够捕捉无限制对象类别间的复杂空间关系。数据集通过文本提示控制生成过程，确保对象间的关系既符合物理规律又反映功能性使用。此外，数据集还通过大型语言模型（LLM）进行文本上下文增强，进一步扩展了其覆盖范围和泛化能力。每个OOR样本包含相对旋转、平移和尺度信息，为3D空间关系建模提供了丰富的数据支持。

使用方法

OOR Dataset的使用方法主要包括：首先，通过文本提示生成特定对象对的3D空间关系样本；其次，利用基于分数的扩散模型学习这些关系的分布；最后，将该模型应用于3D场景编辑和优化任务。用户可以通过输入文本描述，生成符合语义的对象布局，或对现有场景进行空间关系调整。此外，数据集还支持多对象OOR建模，通过图结构和优化策略确保多个对象间的关系一致性和无碰撞性。

背景与挑战

背景概述

Object-Object Spatial Relationships (OOR) Dataset由首尔国立大学和RLWRLD的研究团队于2025年提出，旨在解决3D物体间空间关系的建模问题。该数据集通过预训练的2D扩散模型生成合成图像，进而提取3D空间关系样本，为计算机视觉和机器人学领域提供了重要的研究资源。OOR数据集的核心研究问题在于如何从文本描述中建模物体间的相对位姿和尺度关系，其创新性在于利用合成数据克服了真实数据采集的局限性，为场景理解、内容生成和机器人操作等应用奠定了基础。

当前挑战

OOR数据集面临的主要挑战包括两方面：领域问题的挑战和构建过程的挑战。在领域问题方面，数据集需解决复杂的功能性空间关系建模（如“茶壶向茶杯倒茶”），这要求模型理解超越简单物理约束的人类行为模式；在构建过程方面，挑战来自3D样本生成的复杂性，包括从2D图像到3D空间的准确提升、多视角几何一致性保持，以及文本描述与空间关系的精确对齐。此外，数据集的扩展性也面临挑战，需要处理无限可能的物体类别组合和多样化的空间关系描述。

常用场景

经典使用场景

Object-Object Spatial Relationships (OOR) Dataset 在计算机视觉和三维场景理解领域中被广泛用于研究物体间的空间关系建模。该数据集通过预训练的2D扩散模型生成多样化的合成图像，进而提升为3D样本，为学习物体间的相对姿态和尺度提供了丰富的数据基础。经典使用场景包括三维场景生成、虚拟现实环境中的物体布局优化以及机器人操作任务中的物体摆放策略。

解决学术问题

OOR Dataset 解决了传统方法在建模物体间复杂空间关系时的数据稀缺问题。通过合成数据，该数据集能够覆盖无限制的物体类别对，避免了手工标注的高成本和不完整性。其意义在于为研究社区提供了一个可扩展的框架，使得机器能够理解和生成符合物理规律和人类行为习惯的物体布局，推动了三维场景理解和生成领域的发展。

衍生相关工作

OOR Dataset 衍生了一系列经典研究工作，包括基于分数的扩散模型在物体姿态生成中的应用、多物体空间关系的一致性优化方法以及文本到三维场景的生成技术。这些工作不仅扩展了数据集的适用范围，还推动了三维视觉与自然语言处理的交叉研究，为后续的物体交互建模和场景理解提供了重要参考。