R3ST (Realistic 3D Synthetic Trajectories)

R3ST是由罗马大学团队开发的合成3D数据集，旨在为交通分析和轨迹预测研究提供高质量数据支持。该数据集包含超过8万帧的合成图像，涵盖多种城市交叉路口场景，并集成了来自真实无人机航拍数据（SinD数据集）的车辆轨迹。数据集通过Blender构建虚拟环境，采用真实轨迹驱动车辆运动，同时提供实例分割、深度图和边界框等多模态标注。其创新之处在于将合成数据的可控性与真实人类驾驶行为相结合，主要应用于自动驾驶模型训练、轨迹预测算法评估和智能交通系统研究。R3ST is a synthetic 3D dataset developed by the research team at Sapienza University of Rome, designed to provide high-quality data support for traffic analysis and trajectory prediction research. This dataset contains over 80,000 frames of synthetic images covering various urban intersection scenarios, and integrates vehicle trajectories sourced from real drone aerial photography data (the SinD dataset). The virtual environment is built using Blender, with vehicle movements driven by real trajectories, and it also provides multi-modal annotations including instance segmentation, depth maps and bounding boxes. Its core innovation lies in combining the controllability of synthetic data with real human driving behaviors, and it is mainly applied to autonomous driving model training, trajectory prediction algorithm evaluation and intelligent transportation system research.

原始信息汇总

R3ST: A Synthetic 3D Dataset with Realistic Trajectories 数据集概述

基本信息

• 数据集名称：R3ST (Realistic 3D Synthetic Trajectories)
• 发布来源：Sapienza University of Rome, INSAIT (Sofia University), EURECOM
• 相关论文：R3ST: A Synthetic 3D Dataset with Realistic Trajectories
• 论文出处：Proceedings of Computer Analysis of Images and Patterns. CAIP 2025. Lecture Notes in Computer Science, vol 15622. Springer, Cham
• 发布年份：2026

数据集简介

R3ST是一个合成3D数据集，旨在通过生成合成3D环境并集成从真实无人机镜头记录的鸟瞰数据集SinD中提取的真实世界轨迹，来弥补合成数据与真实轨迹之间的差距。该数据集推进了道路车辆轨迹预测的研究，提供了准确的多模态真实标注和真实的人类驾驶车辆轨迹。

核心特点

• 真实轨迹：与通常由AI驱动或基于规则的算法决定车辆运动的典型合成数据集不同，R3ST集成了源自SinD数据集（一个具有从真实无人机镜头提取的精确车辆位置标注的鸟瞰数据集）中两个场景的真实世界车辆轨迹。
• 合成环境：通过使用Blender渲染创建的虚拟交叉口生成。
• 多模态标注：利用Vision Blender计算额外的多模态标注，可用于一系列计算机视觉应用。同时，直接从Blender世界环境中导出场景中每个对象的3D边界框，并将其投影到图像平面上以获得2D边界框。

应用与评估

• 主要应用：用于训练和评估用于交通分析及提高道路安全的计算机视觉模型，特别是在轨迹预测领域。
• 标注类型：提供实例分割和单目深度估计的定性结果示例。实例分割结果使用YOLO-Seg和SAM2在线演示获得，单目深度估计使用在KITTI上预训练的AnyDepth和Pixelformer Large执行。

获取与引用

• 数据集地址：https://r3st-website.vercel.app/

• BibTeX引用：

  @InProceedings{10.1007/978-3-032-05060-1_30, author="Teglia, Simone and Melis Tonti, Claudia and Pro, Francesco and Russo, Leonardo and Alfarano, Andrea and Pentassuglia, Matteo and Amerini, Irene", editor="Castrill{o}n-Santana, Modesto and Travieso-Gonz{a}lez, Carlos M. and Deniz Suarez, Oscar and Freire-Obreg{o}n, David and Hern{a}ndez-Sosa, Daniel and Lorenzo-Navarro, Javier and Santana, Oliverio J.", title="R3ST: A Synthetic 3D Dataset with Realistic Trajectories", booktitle="Computer Analysis of Images and Patterns", year="2026", publisher="Springer Nature Switzerland", address="Cham", pages="351--360", abstract="Datasets are essential to train and evaluate computer vision models used for traffic analysis and to enhance road safety. Existing real datasets fit real-world scenarios, capturing authentic road object behaviors, however, they typically lack precise ground-truth annotations. In contrast, synthetic datasets play a crucial role, allowing for the annotation of a large number of frames without additional costs or extra time. However, a general drawback of synthetic datasets is the lack of realistic vehicle motion, since trajectories are generated using AI models or rule-based systems. In this work, we introduce R3ST (Realistic 3D Synthetic Trajectories), a synthetic dataset that overcomes this limitation by generating a synthetic 3D environment and integrating real-world trajectories derived from SinD, a birds-eye-view dataset recorded from drone footage. The proposed dataset closes the gap between synthetic data and realistic trajectories, advancing the research in trajectory forecasting of road vehicles, offering both accurate multimodal ground-truth annotations and authentic human-driven vehicle trajectories. We publicly release our dataset here (https://r3st-website.vercel.app/).", isbn="978-3-032-05060-1" }

搜集汇总

数据集介绍

构建方式

在计算机视觉与智能交通系统领域，高质量数据集的构建对于模型训练与评估至关重要。R3ST数据集通过创新的合成数据生成方法，巧妙融合了真实世界轨迹与三维虚拟环境。该数据集利用Blender平台构建了两个高度逼真的城市交叉口三维场景，并集成了来自无人机航拍数据集SinD的真实车辆轨迹。这些轨迹源自实际交通场景，确保了车辆运动模式的人类决策真实性。通过精心设置相机参数与渲染条件，生成了超过八万帧的街景视角图像，并借助Vision Blender工具自动生成了实例分割掩码、深度图及检测框等多模态标注，实现了合成数据的高精度标注优势与真实行为模式的有机结合。

特点

R3ST数据集的核心特点在于其首次将真实人类驾驶轨迹无缝融入合成数据框架，有效弥补了传统合成数据在运动真实性上的不足。数据集提供了丰富的多模态标注，包括像素级实例分割、精确深度信息以及二维与三维边界框，全面支持感知、预测等多种计算机视觉任务。其场景涵盖多种车辆类型，并通过多个相机视角捕捉交叉口动态，渲染图像具有高度的照片真实感。与现有数据集相比，R3ST独树一帜地同时具备了合成数据的标注完备性、真实数据的轨迹行为真实性，以及街景监控视角的实用性，为复杂城市场景下的模型研发提供了前所未有的数据基础。

使用方法

该数据集主要服务于自动驾驶模型开发、轨迹预测算法评估以及智能交通监控系统研究。研究人员可直接利用其提供的多模态标注进行车辆检测、实例分割和单目深度估计等感知任务的模型训练与测试。对于轨迹预测研究，数据集提供的真实轨迹序列可用于行为建模与未来路径推演。其合成数据的特性允许进行便捷的域适配实验，例如评估模型从合成数据到真实场景的泛化能力。数据集以YOLO格式组织标注，便于集成至主流深度学习框架。通过在其提供的逼真且标注完善的交叉口场景上进行实验，能够显著推进对复杂交通动态的理解与建模。

背景与挑战

背景概述

在智能交通系统与自动驾驶技术蓬勃发展的背景下，精确的轨迹预测对于提升道路安全与交通效率至关重要。R3ST数据集由罗马大学等机构的研究团队于2024年提出，旨在解决现有合成数据集在车辆运动真实性方面的核心缺陷。该数据集创新性地将来自无人机航拍数据集SinD的真实世界轨迹，融入由Blender构建的高保真三维合成环境中，从而在提供精确多模态标注的同时，保留了真实人类驾驶行为的动态特性。R3ST的诞生标志着合成数据生成领域的重要突破，为交通分析、轨迹预测模型训练与评估提供了前所未有的高价值资源，有力推动了智能交通监控系统的研究进程。

当前挑战

R3ST数据集致力于解决轨迹预测领域的关键挑战：如何获取兼具高精度标注与真实人类驾驶行为的数据。传统真实数据集虽能捕捉真实行为，却常因标注成本高昂而缺乏精确的地面真值；而传统合成数据集虽能提供完美标注，但其基于规则或AI生成的车辆运动往往过于理想化，无法模拟人类决策的复杂性与不确定性，导致在此类数据上训练的模型难以泛化到真实世界。在构建过程中，研究团队面临的核心挑战在于如何将二维的真实轨迹数据无缝、物理准确地整合到三维虚拟环境中，并确保车辆模型、材质与场景渲染达到足以支持计算机视觉任务的高真实感，从而弥合合成数据与真实行为之间的鸿沟。

常用场景

经典使用场景

在智能交通系统与自动驾驶研究领域，R3ST数据集因其融合真实轨迹与合成环境的独特优势，成为轨迹预测模型训练与评估的经典工具。该数据集通过集成来自无人机航拍的真实车辆轨迹，在虚拟三维交叉路口场景中生成高保真图像，为研究者提供了兼具真实行为模式与精确多模态标注的宝贵资源。其经典应用场景集中于复杂城市路口环境下车辆运动模式的建模与分析，使得算法能够在可控的合成数据中学习人类驾驶的决策动态，从而显著提升轨迹预测的准确性与泛化能力。

实际应用

在实际应用层面，R3ST数据集为智能交通监控系统与自动驾驶技术的开发提供了关键支持。其生成的逼真街景图像与多模态标注可直接用于训练车辆检测、实例分割及深度估计等计算机视觉模型，提升路边摄像头系统的感知精度。交通管理部门可利用该数据集模拟复杂路口场景，优化信号控制策略与交通流管理。此外，自动驾驶公司能够借助R3ST进行算法验证，减少对昂贵实车测试的依赖，加速安全可靠系统的部署进程，最终助力智慧城市基础设施的构建与道路安全水平的整体提升。

衍生相关工作

R3ST数据集的推出催生了一系列围绕合成数据与真实轨迹融合的创新研究。基于其多模态标注特性，学者们开展了跨任务联合学习框架的探索，例如将轨迹预测与实例分割相结合以增强场景理解能力。该数据集也激发了针对域适应问题的研究，旨在缩小合成数据与真实世界之间的分布差异。部分工作进一步扩展了R3ST的场景多样性，引入更复杂的天气与光照条件以提升模型鲁棒性。这些衍生研究共同推动了智能交通分析领域的算法进步，为构建更安全、高效的下一代交通系统奠定了坚实的数据基础。