COPA-SG

COPA-SG是一个合成的场景图数据集，它具有高度精确的地面实况和所有对象之间详尽的关联注释。该数据集引入了参数化和原型关联两种新的基本概念，为场景图提供了更精细的表示。COPA-SG包含超过8600万个关联注释，这些关联注释是基于一套严格的确定性规则提取的，不依赖于主观的人类解释。COPA-SG可用于评估现有场景图模型，以检验它们是否适合下游使用，并通过引入参数化和原型关联，增强了场景图的推理和规划能力。COPA-SG is a synthetic scene graph dataset with highly precise ground truth and exhaustive association annotations between all objects. This dataset introduces two novel fundamental concepts: parameterized and prototypical associations, which enable finer-grained representations for scene graphs. COPA-SG contains over 86 million association annotations, which are extracted based on a set of strict deterministic rules without relying on subjective human interpretation. COPA-SG can be used to evaluate existing scene graph models to verify their suitability for downstream applications, and enhances the reasoning and planning capabilities of scene graphs via the introduction of parameterized and prototypical associations.

搜集汇总

数据集介绍

构建方式

COPA-SG数据集通过高度自动化的流程构建，利用Infinigen生成多样化的3D室内场景，并通过严格的确定性规则提取场景图标注。该流程采用基于体素的方法精确计算物体间的最短距离，并通过射线扫描技术确定方向性关系的参数，确保标注的全面性和一致性。数据集中每个场景平均包含超过72,000个关系，覆盖所有可能的物体对，避免了传统手动标注的主观性和稀疏性问题。

特点

COPA-SG的核心创新在于引入了参数化关系和原型关系。参数化关系通过附加角度或距离参数，消除了传统谓词标签的模糊性；原型关系则编码假设性空间关系，为下游任务提供推理支持。数据集包含86M关系标注，涵盖分割掩码、深度图和表面法线，且100%覆盖场景中所有物体对，显著优于现有数据集3.4%-12.6%的覆盖率。

使用方法

该数据集支持两种主要应用范式：传统场景图生成模型的评估可通过参数阈值变体实现，而新型参数化关系预测任务需调整模型输出层以同时预测关系存在性及参数值。多视图聚合功能允许从不同视角验证同一场景的关系稳定性。配套提供的Neo4j查询框架和小型语言模型接口，可直接支持基于场景图的推理和规划任务。

背景与挑战

背景概述

COPA-SG是由奥格斯堡大学的Julian Lorenz等研究人员于2025年提出的一个合成场景图数据集，旨在解决现有场景图数据标注不精确和稀疏的问题。该数据集通过高度精确的合成标注和详尽的物体间关系注释，为场景理解提供了结构化且可解释的框架。COPA-SG引入了参数化关系和原型关系两种新概念，前者通过角度或距离等参数丰富了关系的细粒度表示，后者则编码了场景中的假设关系。这一数据集在计算机视觉领域具有重要影响力，特别是在场景图生成模型的训练和评估方面。

当前挑战

COPA-SG解决的领域问题主要包括场景图生成中关系标注的不精确性和稀疏性。传统场景图数据集依赖人工标注，存在主观性和不一致性，且仅关注显著关系，导致数据稀疏。构建COPA-SG时面临的挑战包括：1) 如何设计自动化标注流程以确保关系标注的精确性和全面性；2) 如何定义和实现参数化关系与原型关系，以增强场景图的表达能力；3) 如何处理大规模数据生成和存储的技术难题，例如高效计算和存储86M关系标注。

常用场景

经典使用场景

在计算机视觉领域，COPA-SG数据集为场景图生成任务提供了前所未有的精确标注。该数据集通过参数化关系和原型关系等创新概念，为场景理解任务建立了新的基准。其最经典的使用场景是作为训练和评估场景图生成模型的基准数据集，特别是在需要高精度空间关系预测的任务中，如室内导航、机器人路径规划等。

实际应用

在实际应用层面，COPA-SG数据集为智能家居、服务机器人等领域的空间关系理解提供了可靠的数据支持。其精确的参数化标注可应用于室内导航系统，帮助机器人准确理解物体间的空间关系；原型关系则可用于物品摆放规划等任务，通过预测假设性关系来指导实际操作。这些应用显著提升了智能系统在复杂环境中的适应能力。

衍生相关工作

COPA-SG数据集已经催生了一系列创新性研究工作。基于其参数化关系标注，研究者开发了新型的场景图生成模型DSFormer-Parametric；在原型关系方面，衍生出了基于构造实体几何(CSG)的推理框架。该数据集还被用于多视角场景图聚合研究，推动了视觉关系理解在机器人导航等任务中的应用发展。