MTMMC

MTMMC数据集是由韩国科学技术院创建的一个大规模真实世界多模态相机跟踪基准。该数据集包含由16个多模态相机在校园和工厂环境中捕捉的长时间视频序列，涵盖了不同时间、天气和季节条件，为研究多相机跟踪提供了挑战性的测试平台。数据集不仅包括RGB图像，还增加了空间对齐和时间同步的热像数据，以提高多相机跟踪的准确性。MTMMC数据集的应用领域包括视觉监控、人群行为分析和异常检测，旨在解决现有数据集在模拟或控制环境下的局限性，推动多目标多相机跟踪技术的发展。

The MTMMC dataset is a large-scale real-world multi-modal camera tracking benchmark developed by the Korea Advanced Institute of Science and Technology (KAIST). It contains long-duration video sequences captured by 16 multi-modal cameras in campus and factory environments, covering diverse temporal, weather and seasonal conditions, thus providing a challenging testbed for multi-camera tracking research. The dataset not only includes RGB images, but also adds spatially aligned and temporally synchronized thermal imaging data to improve the accuracy of multi-camera tracking. The application fields of the MTMMC dataset cover visual surveillance, crowd behavior analysis and anomaly detection. It aims to address the limitations of existing datasets that are restricted to simulated or controlled environments, and promote the advancement of multi-object multi-camera tracking technologies.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，多目标多摄像头跟踪任务长期受限于真实世界数据的稀缺。MTMMC数据集的构建旨在填补这一空白，其采集过程覆盖校园与工厂两种典型监控场景，部署了16台多模态摄像头，这些摄像头在室内外及多层空间中以固定位置与角度密集分布，确保了视野的重叠与全面覆盖。数据采集跨越不同时间、天气与季节条件，录制了25段高清视频，每段时长五分半钟，共计超过300万帧。为保障数据质量与隐私合规，研究团队采用了半自动标注流程，首先由标注员在关键帧上绘制边界框并分配轨迹ID，随后利用deepSORT算法插值生成中间帧的伪跟踪框，并由标注员精细修正；在多摄像头关联阶段，则依赖人工标注确保跨摄像头身份的一致性，整个过程经过多轮迭代审查，耗时一年完成，最终形成了包含3,669个行人ID的大规模标注数据集。

特点

MTMMC数据集在规模与多样性上均展现出显著优势，其核心特点在于首次引入了空间对齐且时间同步的RGB与热成像双模态数据，为多模态学习在多摄像头跟踪中的应用提供了首个有效测试平台。数据集包含16个摄像头采集的超过300万帧高分辨率图像，覆盖室内外环境，且场景多样性丰富，涵盖了从白天到夜晚、晴天到多云、夏季到秋季的多种真实世界条件。与现有数据集相比，MTMMC在轨迹长度、目标尺度与运动路径方面均呈现出更广泛的分布，例如包含了更多小尺度目标与更长的跨摄像头跟踪序列，从而更好地模拟了真实监控中的复杂动态。此外，数据集在年龄与性别分布上具有广泛代表性，有助于开发更具包容性与鲁棒性的跟踪算法。

使用方法

MTMMC数据集为多目标多摄像头跟踪及相关子任务提供了全面的基准测试平台。在使用上，数据集已预先划分为训练集、验证集与测试集，分别包含14、5和6个场景，确保了评估的公平性与可重复性。研究者可利用该数据集进行人员检测、重识别与多目标跟踪等任务的训练与评估，其提供的RGB-热成像双模态数据支持输入级与特征级融合等多种多模态学习范式的探索。具体而言，在跟踪任务中，可采用跟踪-检测范式，先在各摄像头内生成局部轨迹片段，再通过跨摄像头关联方法进行身份匹配；数据集还支持模态丢弃等新颖实验设置，即训练时使用双模态数据，测试时仅用RGB模态，以验证模型在缺失模态下的泛化能力。此外，MTMMC可作为预训练数据源，与合成数据结合，以提升模型在真实场景中的性能与鲁棒性。

背景与挑战

背景概述

多目标多摄像头跟踪作为计算机视觉领域的关键任务，在智能监控、人群行为分析及异常检测等实际应用中具有重要价值。然而，由于真实世界数据的采集与标注成本高昂，现有数据集多局限于合成生成或受控环境下的构建，难以准确模拟现实动态与泛化至多样化摄像头配置。为此，纽约大学、韩国电子通信研究院及韩国科学技术院的研究团队于2024年共同推出了MTMMC数据集，该数据集在校园与工厂两种真实环境中部署了16个多模态摄像头，采集了涵盖不同时间、天气与季节条件的长视频序列，提供了空间对齐且时间同步的RGB与热成像双模态数据。MTMMC不仅规模空前，包含超过300万帧图像与3669个行人身份标识，还通过严格的隐私保护措施与半自动标注流程，填补了DukeMTMC数据集因隐私问题下架后的研究空白，为多摄像头跟踪及相关子任务如行人检测、重识别等提供了极具挑战性的基准测试平台。

当前挑战

MTMMC数据集致力于解决多目标多摄像头跟踪领域的两大核心挑战：其一，在复杂真实环境中实现跨摄像头的目标持续跟踪与身份关联，这要求算法能够应对光照变化、遮挡、视角差异及目标外观突变等难题；其二，构建过程中面临数据采集与标注的严峻挑战，包括在多摄像头网络中确保时空同步的精确性、处理大规模视频序列的半自动标注效率，以及在遵守隐私法规的前提下完成参与者身份去标识化。此外，数据集首次引入热成像模态，为多模态学习提供了新的研究方向，但如何有效融合RGB与热成像信息以提升跟踪鲁棒性，以及探索模态缺失情况下的模型泛化能力，仍是未来研究亟待突破的技术难点。

常用场景

经典使用场景

在计算机视觉领域，多目标多摄像头跟踪是理解复杂动态场景的核心任务。MTMMC数据集通过部署在校园和工厂环境中的16个多模态摄像头，提供了覆盖室内外、多楼层且具有重叠视野的长时序视频序列。该数据集最经典的使用场景是作为多摄像头跟踪算法的训练与评估基准，研究者可利用其高分辨率RGB与热成像对齐视频，在真实世界复杂光照、天气和季节变化条件下，开发能够跨摄像头持续追踪行人身份的鲁棒模型。

衍生相关工作

基于MTMMC数据集，研究者已开展了一系列经典衍生工作。在方法层面，论文本身提出了输入级与特征级的多模态融合基线，以及知识蒸馏、多模态重建与对比学习等模态丢弃学习范式，为多模态跟踪设立了新基准。在任务层面，该数据集推动了多摄像头关联算法（如层次聚类与优化方法）的改进，并促进了行人检测、重识别与单摄像头跟踪等子任务的性能提升。其提供的预训练模型也证明了真实世界数据与合成数据结合的有效性，启发了后续关于数据高效利用与领域自适应的大量研究。

数据集最近研究

最新研究方向

在计算机视觉领域，多目标多摄像头跟踪技术正朝着更贴近真实世界复杂性的方向发展。MTMMC数据集的推出，以其大规模、多模态的特性，为研究界提供了前所未有的实验平台。该数据集融合了RGB与热成像信息，不仅推动了跨模态学习在跟踪任务中的应用，还激发了针对模态融合与模态丢失等新问题的探索。此外，其涵盖的多样化环境条件与密集摄像头布局，促使研究者开发更具鲁棒性的跨摄像头关联算法，以应对实际监控场景中的遮挡、光照变化及身份一致性挑战。这些进展不仅深化了对多摄像头跟踪本质的理解，也为智能安防、人群行为分析等实际应用奠定了坚实基础。

相关研究论文

• MTMMC: A Large-Scale Real-World Multi-Modal Camera Tracking Benchmark

  韩国科学技术院 · 2024年