awesome-3d-multi-object-tracking-autonomous-driving

github2025-12-09 更新2026-06-04 收录

多目标跟踪

自动驾驶感知

数据链接：

https://github.com/MagicTZ/awesome-3d-multi-object-tracking-autonomous-driving 数据链接链接失效反馈

官方服务：

资源简介：

这是一个关于3D多目标跟踪和自动驾驶领域的数据集合集，汇总和整理了当前阶段开源的数据集资源。合集覆盖了3D多目标跟踪算法和相关数据集，包括 KITTI、NuScenes、Waymo 等知名数据集，并提供了数据集与开源解决方案的对应关系，旨在为研究人员和开发者提供便捷的数据集索引和参考。

This is a dataset collection focused on the fields of 3D multi-object tracking and autonomous driving, which summarizes and organizes open-source dataset resources available at the current stage. The collection covers 3D multi-object tracking algorithms and their related datasets, including well-known datasets such as KITTI, NuScenes, Waymo and others. It also provides the correspondence between datasets and open-source solutions, aiming to offer convenient dataset indexing and references for researchers and developers.

创建时间：

2021-09-21

原始信息汇总

数据集详情总结

该页面是一个针对自动驾驶场景下3D多目标跟踪的开源解决方案与数据集汇总列表，旨在梳理当前阶段的相关资源。

数据集列表

页面列出了五个主流数据集，用于3D多目标跟踪任务：

KITTI
数据集链接：http://www.cvlibs.net/datasets/kitti/eval_tracking_overview.php
NuScenes
数据集链接：https://www.nuscenes.org/tracking?externalData=all&mapData=all&modalities=Any
配套工具：https://github.com/nutonomy/nuscenes-devkit
Waymo
数据集链接：https://waymo.com/open/challenges/
Apollo Scape
数据集链接：http://apolloscape.auto/trajectory.html
配套工具：https://github.com/ApolloScapeAuto/dataset-api
对应论文：https://arxiv.org/abs/1803.06184
H3D Dataset
数据集链接：https://usa.honda-ri.com/H3D
论文集：https://arxiv.org/pdf/1903.01568.pdf

开源解决方案列表

页面汇总了若干开源3D多目标跟踪方案，关键信息如下：

解决方案	特征	传感器	支持数据集
AB3DMOT (IROS 2020)	自2019年起成为众多3D MOT框架的基线	LIDAR	KITTI
mahalanobis_3d_mot (2019)	基于AB3DMOT使用马氏距离，NuScenes跟踪挑战赛第一名	LIDAR	KITTI
3D-Multi-Object-Tracker	快速（700FPS），支持在线、近在线和全局模式，含可视化代码	LIDAR	KITTI、Waymo
EagerMOT (ICRA 2021)	当3D关联失败时，利用2D检测提升在线3D跟踪性能	LIDAR + 相机	KITTI、NuScenes
CenterPoint (2021)	基于鸟瞰视图中心点的3D检测与跟踪	未指定	Waymo、NuScenes
Monocular Quasi-Dense 3D Object Tracking (QD-3DT, 2021)	在线框架，利用2D图像准密集目标提案进行3D跟踪	相机	NuScenes、KITTI、Waymo
datmo (2017)	使用2D LiDAR的L-Shape特征跟踪移动物体	2D LIDAR	自有数据集

评估工具

页面推荐了两个用于MOT准确性评估的开源仓库：

搜集汇总

数据集介绍

awesome-3d-multi-object-tracking-autonomous-driving 数据集图片

构建方式

该数据集通过系统梳理和整合当前开源的三维多目标跟踪（3D MOT）相关解决方案与数据集构建而成。其构建过程基于对文献和开源代码的广泛调研，收录了包括AB3DMOT、EagerMOT、CenterPoint等在内的多个代表性算法，并详细记录了每个方案的流行度、核心特征、发表论文、编程语言、传感器类型及适用数据集。此外，还汇集了KITTI、NuScenes、Waymo、Apollo Scape、H3D等主流公开数据集，并提供了相应的教程与工具链接。评价指标部分则引用了TrackEval和py-motmetrics等标准评估工具，以支持一致的性能比较。

使用方法

使用者可根据自身研究需求，通过表格筛选特定传感器类型或数据集支持的算法。例如，若需基于LiDAR数据进行3D MOT研究，可优先关注AB3DMOT、mahalanobis_3d_mot等方案；若涉及多传感器融合，EagerMOT提供了LiDAR与摄像头的联合跟踪思路。每个解决方案均链接至对应的GitHub仓库和论文，可据此获取代码实现与详细技术细节。数据集的使用则推荐通过官方教程（如NuScenes的devkit）进行数据加载与预处理。评估环节建议采用TrackEval或py-motmetrics工具，以标准化指标（如MOTA、MOTP）验证算法性能。

背景与挑战

背景概述

随着自动驾驶技术的迅猛发展，三维多目标跟踪作为环境感知的核心环节，其研究价值日益凸显。该领域旨在从激光雷达、摄像头等传感器数据中实时识别并持续追踪周围动态物体，为车辆决策提供关键时空信息。2021年，谭臻等人创建了此开源项目，系统梳理了三维多目标跟踪领域的前沿解决方案与公开数据集。项目汇聚了AB3DMOT、EagerMOT等代表性算法，并整合KITTI、NuScenes、Waymo等权威评测基准，为研究者提供了全面的技术参照。该资源在学术界与工业界产生了广泛影响，成为三维多目标跟踪研究的重要起点。

当前挑战

三维多目标跟踪面临多重挑战。在领域层面，复杂动态场景中物体间的遮挡与交互、传感器噪声导致的检测不连续、以及多模态数据融合中的时空对齐问题，均严重制约跟踪鲁棒性。此外，现有方法在应对长时遮挡、快速运动及小目标跟踪时性能显著下降。在构建过程中，数据集标注成本高昂且尺度不一，不同传感器配置下的算法泛化性难以保证。同时，缺乏统一的高效评估框架，使得不同方法间的公平比较与复现面临障碍，阻碍了技术迭代与落地应用。

常用场景

经典使用场景

在自动驾驶感知系统的研究中，三维多目标跟踪（3D MOT）是连接环境感知与行为决策的核心纽带。该数据集集合了KITTI、NuScenes、Waymo等主流基准，为研究人员提供了从激光雷达点云到多模态融合的标准化评测平台。经典使用场景聚焦于动态交通参与者的实时轨迹估计，例如通过AB3DMOT框架在KITTI上实现基于卡尔曼滤波的关联匹配，或利用CenterPoint在鸟瞰视角下完成检测与跟踪的端到端学习。这些场景不仅验证了算法在复杂城市环境中的鲁棒性，还推动了从单目标到多目标、从离线到在线处理的范式演进。

解决学术问题

该数据集系统性地解决了自动驾驶中动态目标跟踪的三大学术难题：数据关联的歧义性、遮挡场景下的身份切换以及多传感器异步融合的时空对齐。例如，Mahalanobis距离的引入有效降低了误匹配率，而EagerMOT通过2D检测辅助3D关联，攻克了纯激光雷达在远处小目标上的跟踪失效问题。这些研究不仅建立了统一的评估指标（如MOTA、MOTP），还揭示了不同传感器配置对跟踪精度的本质影响，为后续的端到端跟踪范式奠定了理论基础，其意义在于将感知任务从静态识别推向动态因果推理的更高维度。

实际应用

在实际部署中，该数据集驱动的算法已广泛应用于L2+级自动驾驶系统的感知模块，例如Waymo的自动驾驶出租车队利用CenterPoint的实时跟踪能力实现十字路口车辆意图预测。在物流场景中，基于2D LiDAR的DATMO算法被用于仓储AGV的障碍物轨迹规划，而Monocular QD-3DT则降低了纯视觉方案的硬件成本，使后装市场的ADAS功能得以落地。此外，该数据集还支撑了高精地图的动态更新、交通流仿真中的虚拟传感器生成等工业级应用，显著缩短了从算法研发到实车验证的周期。

数据集最近研究