场景图数据集

本研究构建了一个场景图数据集，用于训练生成室外3D场景的模型。数据集包含配对的场景图和3D语义场景，场景图由节点和边组成，节点表示对象及其属性，边表示对象之间的空间关系。该数据集是为了支持一种新的生成方法，该方法使用场景图作为条件输入，通过图神经网络和扩散模型生成与场景图描述相匹配的室外3D场景。

This study constructs a scene graph dataset for training models that generate outdoor 3D scenes. The dataset contains paired scene graphs and 3D semantic scenes. A scene graph is composed of nodes and edges, where nodes denote objects and their respective attributes, while edges represent the spatial relationships between these objects. This dataset is designed to support a novel generative method that takes scene graphs as conditional inputs, and generates outdoor 3D scenes matching the descriptions of the scene graphs via graph neural networks and diffusion models.

搜集汇总

数据集介绍

构建方式

场景图数据集的构建基于对3D场景的语义理解和表示。首先，从现有的3D场景数据集中提取场景图，每个节点代表场景中的对象，如车辆、行人等，并包含对象的属性和中心位置。节点之间的边表示对象之间的空间关系，如物理接近和道路连接。通过这种方式，将稀疏的场景图转换为密集的2D嵌入，进而指导3D场景的生成。

使用方法

场景图数据集的使用方法包括通过交互式系统构建和修改场景图，然后使用场景图作为条件来生成3D场景。用户可以通过手动编辑或文本输入来创建场景图，然后将其输入到系统中，系统将使用场景图来生成与场景图描述相匹配的3D场景。

背景与挑战

背景概述

场景图数据集的研究背景在于三维场景生成在计算机视觉领域中的关键作用，其应用涵盖了自动驾驶、游戏和元宇宙等多个方面。现有的三维场景生成方法要么缺乏用户控制，要么依赖于不够精确、非直观的条件。本文提出了一种使用场景图的方法，这是一种易于访问、用户友好的控制格式，用于生成户外三维场景。研究团队开发了一个交互式系统，该系统将稀疏的场景图转化为密集的BEV（鸟瞰图）嵌入图，该图指导条件扩散模型生成与场景图描述相匹配的三维场景。在推理过程中，用户可以轻松创建或修改场景图以生成大规模的户外场景。研究团队创建了一个大规模的数据集，其中包含配对场景图和3D语义场景，用于训练BEV嵌入和扩散模型。实验结果表明，我们的方法始终产生高质量的三维城市场景，与输入的场景图紧密对齐。据我们所知，这是第一个基于场景图生成三维户外场景的方法。

当前挑战

场景图数据集面临的挑战包括：1)所解决的领域问题的挑战，即如何生成高质量、物理上连贯的三维场景，并使其易于控制；2)构建过程中所遇到的挑战，例如，如何将稀疏的场景图转化为密集的BEV嵌入图，以及如何利用扩散模型生成与场景图描述相匹配的三维场景。

常用场景

经典使用场景

场景图数据集是用于可控3D室外场景生成的研究工具，它通过结构化的场景图来指导3D场景的生成。这种数据集在自动驾驶、游戏和虚拟现实等领域有着广泛的应用。用户可以通过交互式系统创建或修改场景图，从而生成大规模的室外3D场景。场景图数据集提供了一个直观且用户友好的控制格式，使得3D场景的生成过程更加精确和可控。

解决学术问题

场景图数据集解决了当前3D场景生成方法中用户控制不足的问题。现有的方法要么缺乏用户控制，要么依赖于不精确、非直观的条件。场景图数据集通过引入场景图这一用户友好的控制格式，使得用户可以轻松地创建或修改场景图，从而生成符合其描述的3D场景。此外，场景图数据集还通过引入辅助任务和交互式系统，进一步提高了3D场景生成的可控性和准确性。

实际应用

场景图数据集在实际应用中具有广泛的应用场景。在自动驾驶领域，场景图数据集可以用于生成逼真的3D场景，从而帮助自动驾驶系统进行模拟和测试。在游戏领域，场景图数据集可以用于生成多样化的游戏场景，从而提升游戏的真实感和趣味性。在虚拟现实领域，场景图数据集可以用于生成虚拟现实场景，从而提供更加沉浸式的用户体验。此外，场景图数据集还可以用于城市规划和建筑设计等领域，帮助设计师生成更加真实和准确的3D场景。

数据集最近研究

最新研究方向

场景图数据集在三维场景生成领域的最新研究主要集中在利用场景图进行可控的三维场景生成。这一方向通过将场景图作为一种用户友好的控制格式，使得三维场景生成过程更加直观和易于控制。研究者们开发了一个交互式系统，该系统能够将稀疏的场景图转化为密集的鸟瞰图（Bird’s Eye View）嵌入图，进而指导条件扩散模型生成与场景图描述相匹配的三维场景。此外，该研究还创建了一个包含成对场景图和三维语义场景的大型数据集，用于训练鸟瞰图嵌入和扩散模型。实验结果表明，该方法能够持续生成高质量的、与输入场景图紧密对齐的三维城市场景。据我们所知，这是第一个基于场景图生成三维户外场景的方法。

相关研究论文

• Controllable 3D Outdoor Scene Generation via Scene Graphs

  德克萨斯A&M大学, 美国加州大学梅塞德分校, 香港城市大学, 西南交通大学, Insta360 Research, 英伟达 · 2025年