EMT dataset

EMT数据集是首个公开可用于自动驾驶的阿拉伯湾地区数据集，由阿拉伯联合酋长国哈利法科技大学创建。该数据集包含超过30,000个来自车载摄像头的视角画面，以及570,000个注释边界框，涵盖大约150公里的驾驶路线。数据集支持三个主要任务：跟踪、轨迹预测和意图预测。数据收集使用了安装在两辆汽车上的车载摄像头，记录了该地区独特的道路拓扑结构、高交通拥堵情况以及行人着装和天气条件的多样性。

The EMT dataset is the first publicly available autonomous driving dataset for the Arabian Gulf region, created by Khalifa University of Science and Technology, United Arab Emirates. This dataset includes over 30,000 perspective images captured by in-vehicle cameras, along with 570,000 annotated bounding boxes, covering approximately 150 kilometers of driving routes. The dataset supports three core tasks: tracking, trajectory prediction, and intent prediction. Data was collected using in-vehicle cameras mounted on two vehicles, documenting the region's unique road topology, high traffic congestion, as well as the diversity of pedestrian attire and weather conditions.

搜集汇总

数据集介绍

构建方式

EMT数据集的构建过程涉及在阿拉伯海湾地区的阿联酋主要城市和城际道路上使用两辆配备前向摄像头的车辆进行数据收集。这些车辆装备了VANTRUE 3通道行车记录仪，以1080P全高清录制视频。数据收集包括多种道路拓扑结构，如高速公路、环岛、桥梁、城市交叉口、城际高速公路和狭窄的城市街道。视频以每秒30帧的帧率录制，并以3分钟的视频剪辑保存。为了注释过程，每秒10帧的帧被提取出来。为了确保数据集的多样性，视频剪辑涵盖了白天、傍晚和夜间、晴朗和雨天等多种天气条件和场景类型。数据集包含超过30,000个从行车记录仪视角捕获的帧，以及570,000个注释边界框，涵盖了大约150公里的驾驶路线。

特点

EMT数据集的主要特点是其独特性，它是在阿拉伯海湾地区收集的，这是一个在自动驾驶数据集中之前未充分代表的地区。该数据集捕捉了该地区独特的道路拓扑结构、高交通拥堵以及行人服装和天气条件的变化。它支持三个主要任务：跟踪、轨迹预测和意图预测。数据集包含8,806个独特的跟踪ID，包括8,076辆车、568个行人、158辆摩托车和14个骑自行车的人，平均跟踪时间为6.5秒。此外，数据集还包含4,821个独特的代理，包括4,347辆车和386个行人，用于轨迹预测。对于意图预测，数据集包含4,921个代理轨迹序列，每个序列都带有意图标签。

使用方法

使用EMT数据集的方法包括三个主要任务：跟踪、轨迹预测和意图预测。对于跟踪任务，可以使用Kalman滤波器基于的SOTA跟踪器，并使用三个配置进行评估：现成的检测器、微调的检测器和地面真实检测。对于轨迹预测，可以使用深度序列和交互感知模型进行评估。对于意图预测，可以使用从观察到的轨迹预测代理意图的基准实验。数据集可以在avlab.io/emtdataset上公开获取，而预处理的脚本和评估模型可以在github.com/AV-Lab/emt-dataset上访问。

背景与挑战

背景概述

随着自动驾驶技术的不断进步，模型在多样化道路环境和条件下的泛化能力对于安全运行至关重要，但仍然是一个重大挑战。为了实现稳健的泛化，关键在于在能够捕捉广泛交通场景和特征的数据集上训练模型。当前自动驾驶数据集提供了广泛的覆盖范围，包括美国、欧洲以及包括中国和新加坡在内的亚洲部分地区。然而，阿拉伯海湾地区的独特驾驶条件仍然没有得到充分代表。为了填补这一空白，我们介绍了阿联酋多任务（EMT）数据集，这是在阿拉伯海湾地区收集的第一个公开发布的自动驾驶数据集。该数据集捕捉了该地区的独特道路拓扑、高交通拥堵以及行人服装和天气条件的多样性。它包含超过30,000帧的行车记录仪视角图像，以及570,000个标注的边界框，涵盖了大约150公里的行车路线。EMT数据集支持三个主要任务：跟踪、轨迹预测和意图预测。每个基准数据集都辅以相应的评估：1）多智能体跟踪实验，侧重于多类场景和遮挡处理；2）使用深度序列和交互感知模型的轨迹预测评估；以及3）意图基准实验，用于从观察到的轨迹中预测智能体的意图。该数据集在avlab.io/emtdataset上公开可用，预处理脚本和评估模型可在github.com/AV-Lab/emt-dataset上访问。

当前挑战

EMT数据集面临的一些挑战包括：1）泛化问题：在多样化道路环境和条件下，模型泛化能力对于安全运行至关重要。2）遮挡处理：在多智能体跟踪任务中，模型需要能够准确识别和跟踪被遮挡的对象。3）轨迹预测：在轨迹预测任务中，模型需要能够预测多智能体在复杂交互场景下的轨迹，并有效泛化到不同场景。4）意图预测：在意图预测任务中，模型需要能够从观察到的轨迹、位置和周围环境中推断智能体的未来行为。5）数据集平衡：在EMT数据集中，某些意图类别的样本数量较少，需要平衡数据集以改善模型对这些类别的性能。

常用场景

经典使用场景

EMT数据集主要应用于自动驾驶领域，其包含的丰富场景和多样化的交通条件，为自动驾驶模型提供了宝贵的训练数据。该数据集支持三个主要任务：跟踪、轨迹预测和意图预测。在跟踪任务中，数据集用于评估算法在复杂交通环境中准确识别和持续跟踪对象的能力。轨迹预测任务挑战模型在异构交通中预测轨迹，并有效地推广到涉及交互代理的场景、大型交叉路口和环岛的预测，以及多代理动态。意图预测任务旨在评估自动驾驶系统预测交通参与者未来行动的能力。这些任务为自动驾驶模型在复杂环境中的鲁棒性提供了重要的基准。

衍生相关工作

EMT数据集的引入，为自动驾驶领域的研究提供了新的数据资源。基于该数据集，研究人员可以进行多任务学习、轨迹预测和意图预测等任务的研究，以提升自动驾驶系统的性能。此外，EMT数据集的多样化场景和复杂的交通条件，可以用于评估和改进现有的自动驾驶模型，为自动驾驶技术的发展提供重要的参考。

数据集最近研究

最新研究方向

EMT数据集的最新研究方向主要聚焦于自动驾驶中的多任务处理，特别是在阿拉伯海湾地区的独特交通条件下。该数据集捕捉了该地区独特的道路拓扑结构、高交通拥堵和行人服装以及天气条件的多样性。研究重点在于提升模型在复杂交通环境中的鲁棒性，包括多目标跟踪、轨迹预测和意图预测。此外，研究人员也在探索如何通过整合视觉线索和模拟真实场景来提高模型的泛化能力，以适应不同地区和文化的驾驶行为。

相关研究论文

• EMT: A Visual Multi-Task Benchmark Dataset for Autonomous Driving in the Arab Gulf Region

  阿拉伯联合酋长国哈利法大学 · 2025年