ai4ce/MARS

MARS数据集是一个多智能体、多遍历、多模态的自动驾驶数据集，由多个自动驾驶车辆在特定地理区域内行驶时收集的数据组成。每辆车都配备了LiDAR和环绕视角的RGB摄像头。数据集包含两个子集：一个用于多车协同驾驶，另一个用于通过多车异步遍历同一地点进行记忆回溯。数据集的结构与NuScenes数据集相同，并提供了详细的教程和代码示例，展示了如何加载和处理数据。

原始信息汇总

Multiagent Multitraversal Multimodal Self-Driving: Open MARS Dataset

概述

• 数据集名称: Multiagent Multitraversal Multimodal Self-Driving: Open MARS Dataset
• 领域: 自动驾驶、计算机视觉
• 合作方: May Mobility
• 数据收集方式: 通过一组自动驾驶车辆在特定地理区域内行驶收集数据。每辆车配备LiDAR和环绕视角RGB摄像头。
• 数据集结构:
  • Multitraversal: 每个地点保存为一个NuScenes对象，每个遍历为一个场景。
  • Multiagent: 整个数据集为一个NuScenes对象，每个多智能体遭遇为一个场景。

数据集子集

• Multitraversal: 促进多车协同驾驶的子集。
• Multiagent: 通过多车异步遍历同一地点来启用记忆回顾的子集。

数据类型

• 传感器数据: LiDAR、环绕视角RGB摄像头、IMU
• 数据格式:
  • 图像: jpg
  • LiDAR: .bcd.bin (5维数据: [x, y, z, intensity, ring])
  • IMU: json

数据集特点

• 多智能体感知: 支持多车协同感知。
• 多遍历3D重建: 支持通过多车遍历同一地点进行3D重建。
• 无监督对象发现: 提供新的研究机会和挑战。

数据集版本

• 最新版本: 2024/06
• 下载地址: huggingface

许可证

• CC BY-NC-SA 4.0

引用

@InProceedings{Li_2024_CVPR, author = {Li, Yiming and Li, Zhiheng and Chen, Nuo and Gong, Moonjun and Lyu, Zonglin and Wang, Zehong and Jiang, Peili and Feng, Chen}, title = {Multiagent Multitraversal Multimodal Self-Driving: Open MARS Dataset}, booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2024}, pages = {22041-22051} }

教程

• Devkit初始化:
  • 安装nuscenes-devkit
  • 导入NuScenes devkit
• 场景加载:
  • 加载Multitraversal数据
  • 加载Multiagent数据
• 样本数据:
  • 传感器名称
  • 相机数据
  • LiDAR数据
  • IMU数据
  • 车辆和传感器姿态
• LiDAR-图像投影: 使用NuScenes devkit的render_pointcloud_in_image()方法进行投影。

搜集汇总

数据集介绍

构建方式

MARS数据集由多辆自动驾驶车辆在特定地理区域内行驶时采集而成，每辆车配备LiDAR和环绕视角的RGB摄像头。数据集通过多车辆协同驾驶和多车辆异步遍历同一地点的方式，构建了两个子集，分别用于多车辆协同驾驶和记忆回顾研究。数据集的结构与NuScenes数据集保持一致，每个地点作为一个NuScenes对象，每个遍历作为一个场景。

使用方法

使用MARS数据集时，首先需安装NuScenes开发工具包，并通过指定数据集路径加载多遍历或多代理子集。用户可以通过查询场景和样本数据来访问传感器数据，包括摄像头图像、LiDAR点云和IMU数据。数据集提供了详细的教程，指导用户如何加载和处理数据，以及如何进行LiDAR-图像投影等操作。

背景与挑战

背景概述

在自动驾驶技术的快速发展背景下，MARS数据集由Yiming Li、Zhiheng Li等研究人员于2024年创建，旨在推动多智能体、多遍历和多模态自动驾驶研究。该数据集与自动驾驶公司May Mobility合作，通过一系列自动驾驶车辆在特定地理区域内的行驶数据收集而成。每辆车配备LiDAR和环绕视角RGB摄像头，记录了多车协同驾驶和多车异步遍历同一地点的场景。MARS数据集不仅为自动驾驶领域的研究提供了丰富的实验数据，还引入了多遍历3D重建、多智能体感知和无监督物体发现等新的研究方向，对计算机视觉和自动驾驶领域具有重要影响。

当前挑战

MARS数据集面临的挑战主要集中在多智能体和多遍历场景的复杂性上。首先，多智能体场景中，多车同时出现在同一地点，要求算法能够处理复杂的交互和协同问题。其次，多遍历场景中，多车异步遍历同一地点，需要解决时间同步和数据一致性问题。此外，数据集的构建过程中，如何确保传感器数据的准确性和一致性，以及如何处理大规模数据的高效存储和检索，也是重要的技术挑战。这些挑战为自动驾驶领域的研究提供了新的机遇，同时也对现有算法和技术提出了更高的要求。

常用场景

经典使用场景

MARS数据集在自动驾驶领域中具有广泛的应用，尤其是在多智能体、多遍历和多模态的自主驾驶研究中。该数据集通过收集多辆自动驾驶车辆在特定地理区域内的行驶数据，提供了丰富的传感器数据，包括LiDAR和环绕视角RGB摄像头数据。这些数据可用于多智能体感知、多遍历3D重建以及无监督物体发现等经典场景的研究。

解决学术问题

MARS数据集解决了自动驾驶领域中多个关键的学术研究问题，如多智能体协同驾驶、多遍历场景下的记忆回溯以及多模态数据融合。通过提供多辆车辆在同一地点的同步数据，MARS为研究者提供了探索多智能体感知和协同决策的宝贵资源。此外，数据集中的多遍历数据为3D重建和场景理解提供了新的研究机会，推动了自动驾驶技术的进一步发展。

实际应用

在实际应用中，MARS数据集为自动驾驶系统的开发和测试提供了重要的支持。通过模拟多智能体在复杂交通环境中的交互行为，该数据集帮助开发者优化车辆的感知和决策算法。同时，多遍历数据的应用使得自动驾驶系统能够在不同时间和条件下对同一地点进行精确的3D重建，从而提高了系统的鲁棒性和可靠性。

数据集最近研究

最新研究方向

在自动驾驶领域，MARS数据集的最新研究方向主要集中在多智能体感知、多遍历3D重建以及无监督物体发现等前沿技术上。该数据集通过多智能体、多遍历和多模态的统一场景，为自动驾驶研究提供了丰富的实验数据。特别是，MARS数据集引入了新的研究挑战，如多智能体协同驾驶、异步遍历场景下的记忆回溯等，这些研究方向不仅推动了自动驾驶技术的边界，也为计算机视觉和人工智能领域提供了新的研究视角。此外，MARS数据集的发布与CVPR 2024的论文接受，标志着其在学术界和工业界的广泛认可，进一步促进了自动驾驶技术的实际应用和理论研究的深度融合。