Multi-Moving-Camera Track (MMCT)

为了确保自动驾驶车辆的安全，系统地跟踪道路上的行人变得至关重要。大多数车辆都配备了视觉传感器，但大规模的视觉数据尚未得到充分研究。多目标多摄像头（MTMC）跟踪系统由单摄像头跟踪（SCT）和摄像头间跟踪（ICT）两个模块组成。为了可靠地协调这两个模块，MTMC跟踪一直是一个非常复杂的任务，而跨多个移动摄像头的跟踪使其更具挑战性。本文关注多目标多移动摄像头（MTMMC）跟踪，这是研究社区日益关注的领域。鉴于MTMMC跟踪的数据集很少，我们收集了一个新的数据集，称为多移动摄像头跟踪（MMCT），该数据集包含各种驾驶场景下的序列。为了解决大多数现有SCT跟踪器面临的常见问题，特别是由于摄像头和目标之间的自我运动导致的身份切换问题，我们提出了一种轻量级的无外观全局链接模型，称为Linker，通过将同一目标的两个不连续轨迹关联到同一摄像头中的完整轨迹来缓解身份切换。结合Linker，现有的SCT跟踪器通常能获得显著改进。此外，为了减轻由不同摄像头引起的图像风格变化的影响，有效地集成了一个颜色转移模块，以提取跨摄像头一致的外观特征，用于移动摄像头间的行人关联，从而显著提高了MTMMC跟踪系统，这可以构成进一步协调多个移动摄像头的一步。

To ensure the safety of autonomous vehicles, systematically tracking pedestrians on the road has become crucial. Most vehicles are equipped with visual sensors, yet large-scale visual data has not been thoroughly studied. The multi-target multi-camera (MTMC) tracking system consists of two modules: single-camera tracking (SCT) and inter-camera tracking (ICT). Reliably coordinating these two modules has always been a highly complex task, and tracking across multiple moving cameras makes it even more challenging. This paper focuses on multi-target multi-moving-camera (MTMMC) tracking, an area of increasing interest in the research community. Given the scarcity of datasets for MTMMC tracking, we have collected a new dataset called Multi-Moving-Camera Tracking (MMCT), which includes sequences from various driving scenarios. To address common issues faced by most existing SCT trackers, particularly the identity switch problem caused by ego-motion between the camera and the target, we propose a lightweight appearance-free global linking model, termed Linker, which alleviates identity switches by associating two discontinuous trajectories of the same target into a complete trajectory within the same camera. When combined with Linker, existing SCT trackers often achieve significant improvements. Furthermore, to mitigate the impact of image style variations caused by different cameras, a color transfer module is effectively integrated to extract consistent appearance features across cameras for pedestrian association among moving cameras, thereby significantly enhancing the MTMMC tracking system. This advancement constitutes a step towards further coordinating multiple moving cameras.

原始信息汇总

数据集概述

数据集名称

• Multi-Moving-Camera Track (MMCT)

数据集目的

• 用于多目标多移动摄像头跟踪（MTMMC）的研究，旨在解决自动驾驶车辆在复杂驾驶场景中的行人跟踪问题。

数据集特点

• 新数据集收集：包含多种驾驶场景下的序列数据。
• 轻量级全局链接模型（Linker）：用于减少由于摄像头移动导致的身份切换问题，通过关联同一目标的不同跟踪片段形成完整轨迹。
• 颜色转移模块：用于提取跨摄像头一致的外观特征，以改善跨移动摄像头的行人关联。

数据集使用

• 单摄像头跟踪：
  • 运行bash run_img.sh获取跟踪结果和特征文件。
  • 使用eval_motchallenge.py计算单摄像头跟踪的指标。
• 多摄像头跟踪：
  • 通过一系列脚本（如generate_cpd.sh, generate_ts.sh, cpd.sh, generate_GT.sh）处理和整合跟踪数据。
  • 使用eval-mtmc.py计算多摄像头跟踪的指标。

数据集下载

• 数据集下载链接：MMCT数据集

数据集安装

• 安装指南参考FairMOT。

数据准备

• 详细数据准备指南请参考README_DATASET文件。

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，确保行车安全的关键在于对道路上行人的有效追踪。为此，研究者们构建了多目标多移动摄像头追踪（MTMMC）数据集，名为Multi-Moving-Camera Track (MMCT)。该数据集通过在多种驾驶场景下采集视频序列，涵盖了不同摄像头视角和运动状态下的行人追踪需求。为了应对因摄像头运动导致的身份切换问题，研究团队提出了一种轻量级的无外观全局链接模型，称为Linker，该模型通过关联同一目标在不同摄像头下的轨迹片段，有效减少了身份切换的发生。此外，为了解决不同摄像头间图像风格差异带来的影响，数据集还集成了颜色迁移模块，以提取跨摄像头一致的外观特征，从而提升多摄像头追踪的准确性。

特点

MMCT数据集的显著特点在于其针对多移动摄像头场景下的追踪问题进行了专门设计。数据集包含了多种驾驶场景下的视频序列，涵盖了不同摄像头视角和运动状态，为研究者提供了丰富的实验数据。此外，数据集结合了轻量级的Linker模型，有效解决了因摄像头运动导致的身份切换问题，提升了单摄像头追踪的稳定性。同时，通过颜色迁移模块，数据集能够提取跨摄像头一致的外观特征，进一步增强了多摄像头追踪的鲁棒性。这些特点使得MMCT数据集成为研究多目标多移动摄像头追踪问题的理想选择。

使用方法

使用MMCT数据集进行研究时，首先需下载数据集并按照提供的说明进行数据准备。对于单摄像头追踪，用户可以通过运行`run_img.sh`脚本获取追踪结果，并通过`eval_motchallenge.py`计算单摄像头追踪的评估指标。对于多摄像头追踪，用户需依次运行`generate_cpd.sh`、`generate_ts.sh`和`cpd.sh`脚本，以生成匹配文件和相应的目录结构，最后通过`generate_GT.sh`获取多摄像头追踪结果，并使用`eval-mtmc.py`计算多摄像头追踪的评估指标。通过这些步骤，用户可以全面评估和优化多目标多移动摄像头追踪系统的性能。

背景与挑战

背景概述

随着自动驾驶技术的迅猛发展，确保行车安全已成为研究的核心议题之一。在这一背景下，对道路上行人的系统性追踪显得尤为重要。尽管大多数车辆配备了视觉传感器，但大规模视觉数据的利用仍处于初级阶段。多目标多摄像头（MTMC）追踪系统通常由单摄像头追踪（SCT）和跨摄像头追踪（ICT）两个模块组成，而多目标多移动摄像头（MTMMC）追踪因其复杂性而备受关注。为填补这一领域的数据集空白，Yanting Zhang等研究人员于近期推出了Multi-Moving-Camera Track（MMCT）数据集，该数据集涵盖了多种驾驶场景下的序列数据，旨在为MTMMC追踪研究提供坚实的基础。

当前挑战

MMCT数据集的构建面临诸多挑战。首先，由于摄像头和目标的相对运动，身份切换问题尤为突出，尤其是在移动摄像头场景下。为解决这一问题，研究团队提出了一种轻量级的无外观全局链接模型（Linker），通过关联同一目标在不同时间段的轨迹来减少身份切换。其次，不同摄像头间的图像风格差异对跨摄像头行人关联造成了显著影响，为此，研究团队引入了一种颜色迁移模块，以提取跨摄像头一致的外观特征。此外，数据集的构建还需应对大规模视觉数据的采集、标注及处理等技术难题，确保数据集的多样性和实用性。

常用场景

经典使用场景

Multi-Moving-Camera Track (MMCT) 数据集的经典使用场景主要集中在多目标多移动摄像头跟踪（MTMMC）领域。该数据集通过提供多种驾驶场景下的序列数据，支持研究人员开发和验证多摄像头跟踪算法。特别是在自动驾驶和智能交通系统中，MMCT数据集能够帮助研究者解决单摄像头跟踪（SCT）和跨摄像头跟踪（ICT）之间的协调问题，从而提升多摄像头系统的整体性能。

实际应用

在实际应用中，MMCT数据集为自动驾驶车辆和智能交通系统提供了重要的技术支持。通过该数据集，研究人员可以开发出更精确的多摄像头跟踪算法，从而提高车辆在复杂交通环境中的安全性。此外，MMCT数据集还可应用于安防监控、智能城市等领域，帮助实现对移动目标的精准跟踪和监控。

衍生相关工作

基于MMCT数据集，研究者们开发了多种相关的经典工作。例如，Linker模型通过关联同一目标的两个不连续轨迹，显著提升了单摄像头跟踪的性能。此外，颜色转移模块的引入为跨摄像头行人关联提供了更一致的外观特征，进一步推动了多摄像头跟踪技术的发展。这些工作不仅在学术界引起了广泛关注，也为实际应用提供了有力的技术支持。