Road Scene Graph

Road Scene Graph数据集是由名古屋大学未来社会创新研究所和哈尔滨工业大学机器人与智能系统国家重点实验室联合创建的，专注于智能车辆领域的场景图数据集。该数据集包含超过500个真实世界的驾驶场景及其对应的场景图，数据来源于nuScenes数据集和CARLA模拟器。创建过程中，首先使用模型系统手动标注生成初始场景图数据集，然后训练图卷积网络(GCN)以预测未知场景的场景图。该数据集主要用于智能车辆的环境识别和风险预测，旨在解决自动驾驶中复杂场景理解和潜在风险预测的问题。

The Road Scene Graph dataset is a scene graph-oriented dataset co-developed by the Institute of Future Social Innovation, Nagoya University and the State Key Laboratory of Robotics and System, Harbin Institute of Technology, with a focus on the intelligent vehicle domain. It contains over 500 real-world driving scenarios along with their corresponding scene graphs, with data sourced from the nuScenes dataset and the CARLA simulator. During the development process, an initial scene graph dataset was first generated through manual annotation assisted by a model system, followed by the training of a Graph Convolutional Network (GCN) to predict scene graphs for unseen driving scenarios. This dataset is primarily utilized for environment recognition and risk prediction in intelligent vehicles, aiming to address the core challenges of complex scene understanding and potential risk forecasting in autonomous driving.

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，为了捕捉丰富的语义信息，Road Scene Graph数据集基于nuScenes和CARLA模拟器构建。该数据集通过模型驱动系统手动标注，生成初始的道路场景图，随后利用图卷积网络（GCN）预测未知场景的图结构，以辅助标注过程。数据涵盖超过500个真实驾驶场景，每个场景以图结构组织，其中节点代表车辆、行人等对象，边则编码对象间的空间与行为关系，如“跟随”或“等待”。这种构建方式确保了数据的可解释性和连通性，为图神经网络处理提供了理想基础。

特点

Road Scene Graph数据集的核心特点在于其图结构表示，将场景中的对象及其成对关系整合为拓扑图。与传统的边界框或分割掩码相比，该图不仅提供对象提案，还捕捉对象间的动态交互，如“分组”或“可能交叉”，从而揭示隐藏的语义风险。数据集包含多样化的关系类型和对象属性，支持长时程场景分析，并通过引入群体关系简化标注复杂度。这种结构使数据易于被GCN处理，适用于场景理解、风险预测等高级任务，为自动驾驶系统提供了更丰富的语义推理能力。

使用方法

该数据集主要用于训练和评估图生成模型，如道路场景图细化网络（RSGRN）和基于变分图自编码器（VGAE）的预测网络。研究人员可首先利用数据集预训练关系检测器，再通过微调适应特定任务，如图结构补全或下一时刻图预测。数据集支持场景标注、风险分类和视觉问答等应用，用户可通过提供的GUI工具进行数据标注与验证。此外，其图结构兼容常见图神经网络框架，便于集成到端到端驾驶模型中，以提升语义推理和隐蔽风险检测的性能。

背景与挑战

背景概述

随着自动驾驶技术的深入发展，智能车辆对复杂道路场景的语义理解需求日益凸显。传统环境感知方法如边界框检测与语义分割，虽能提供精确的几何信息，却难以捕捉对象间的交互关系，而这些关系对于预测潜在风险至关重要。在此背景下，由名古屋大学与哈尔滨工业大学等机构的研究团队于2020年提出了Road Scene Graph数据集。该数据集基于nuScenes与CARLA平台构建，包含超过500个真实驾驶场景及其对应的道路场景图，旨在通过图结构整合对象提案及其成对关系，为智能车辆提供可解释、全连接的语义表示，从而推动场景理解与风险预测研究。

当前挑战

Road Scene Graph数据集致力于解决智能车辆领域中的高级语义推理问题，其核心挑战在于如何从动态道路场景中准确提取并建模对象间的复杂关系，以预测人类驾驶员易于察觉的隐藏风险，如盲区交叉口或行人突然穿行。在构建过程中，研究团队面临标注工作的繁重性与一致性难题，需设计高效的数据标注工具，并定义适用于交通场景的关系类别体系。此外，数据集的规模有限，难以支撑复杂图生成模型的训练，且现有驾驶数据集缺乏真实风险场景，限制了模型在事故预测等关键任务上的泛化能力。

常用场景

经典使用场景

在自动驾驶领域，Road Scene Graph数据集为场景理解提供了结构化语义表示。该数据集通过图结构组织道路场景中的对象及其关系，节点代表车辆、行人等实体，边则编码实体间的空间与行为交互，如“跟随”或“等待”。这一表示形式使得图卷积网络能够高效处理复杂的语义信息，为智能车辆的环境感知与决策提供支持。

实际应用

在实际应用中，Road Scene Graph数据集可用于智能车辆的实时风险场景检测与预警。通过分析道路图中对象间的关系模式，系统能够识别潜在危险，如盲区交叉口或行人突然穿行，从而辅助自动驾驶系统做出更安全的决策。此外，该数据集还可用于驾驶场景的自动标注与仿真测试，加速自动驾驶技术的开发与验证过程。

衍生相关工作

基于Road Scene Graph数据集，衍生出多项经典研究工作，主要集中在图生成与预测模型的优化上。例如，研究者利用变分图自编码器构建了道路场景图生成网络，用于预测缺失边或未来时刻的图结构。这些工作扩展了图神经网络在自动驾驶领域的应用，并为场景标注、风险分类等任务提供了基线模型，进一步推动了语义图表示在智能交通系统中的发展。