VT-MOT
收藏资源简介：
VT-MOT数据集由安徽大学的智能计算与信号处理教育部重点实验室创建，是一个大规模的可见光与热红外视频基准，专门用于多目标跟踪研究。该数据集包含582对视频序列，总计401k帧对，采集自无人机、监控摄像头和手持设备，具有高度的时空对齐和3.99百万个高质量标注框。数据集的创建过程中，专业人员进行了逐帧的时空对齐和双重检查的标注工作，确保了数据的高质量和密集性。VT-MOT数据集的应用领域主要集中在复杂环境下的多目标跟踪，旨在通过融合可见光与热红外数据的优势，提高跟踪算法的鲁棒性和准确性。
The VT-MOT dataset, developed by the Key Laboratory of Intelligent Computing and Signal Processing of the Ministry of Education, Anhui University, is a large-scale visible light and thermal infrared video benchmark dedicated to multi-object tracking research. The dataset consists of 582 pairs of video sequences, totaling 401k frame pairs, collected from drones, surveillance cameras, and handheld devices, and features high-precision spatiotemporal alignment as well as 3.99 million high-quality annotated bounding boxes. During the dataset construction process, professionals conducted frame-by-frame spatiotemporal alignment and double-checked annotation work to guarantee the high quality and density of the dataset. The application scope of the VT-MOT dataset mainly centers on multi-object tracking in complex environments, with the goal of enhancing the robustness and accuracy of tracking algorithms by integrating the respective advantages of visible light and thermal infrared data.
PFTrack 数据集概述
数据集介绍
PFTrack 是一个大规模的可见光-热红外多目标跟踪视频数据集，名为 VT-MOT。该数据集具有以下主要特点：
- 大规模和高多样性：包含 582 对视频序列，401k 帧对，来自监控、无人机和手持平台。
- 跨模态对齐精度高：由专业人员进行逐帧的空间和时间对齐。
- 密集和高品质标注：包含 3.99 百万个标注框，由专业人员标注和复核，涵盖重遮挡和目标重新捕获等挑战。
数据集贡献
- 构建了一个大规模的可见光-热红外多目标跟踪数据集 VT-MOT，适用于全天候和全天时研究。
- 对所有视频序列进行了手动时空对齐，确保两种模态的高质量对齐，并提供了密集和高品质的标注。
- 提出了一种简单而有效的渐进融合跟踪框架，有效融合了两种模态的时间和互补信息。
数据集结构
数据集的结构如下：
${PFTrack_ROOT}
|-- data
-- |-- VTMOT -- |--- train
| |--- video1
| | |--- visible
| | | |---0000001.jpg
| | | |---0000002.jpg
| | | |---...
| | |--- infrared
| | | |---0000001.jpg
| | | |---0000002.jpg
| | | |---...
| | |--- gt
| | | |--- gt.txt
| | |--- seqinfo
| |--- video2
| |--- ...
|--- test
| |--- video1
| | |--- visible
| | | |---0000001.jpg
| | | |---0000002.jpg
| | | |---...
| | |--- infrared
| | | |---0000001.jpg
| | | |---0000002.jpg
| | | |---...
| | |--- gt
| | | |--- gt.txt
| | |--- seqinfo
| |--- video2
| |--- ...
---| annotations |--- train.json --- test.json
数据集使用
训练
python -u main.py tracking --modal RGB-T --save_all --exp_id VTMOT_PFTrack --dataset mot_rgbt --dataset_version mot_rgbt --load_model "./exp/tracking/VTMOT_RGBT/***.pth" --batch_size 12 --pre_hm --ltrb_amodal --same_aug --hm_disturb 0.05 --lost_disturb 0.4 --fp_disturb 0.1 --gpus 0
测试
python test_rgbt.py tracking --modal RGB-T --test_mot_rgbt True --exp_id VTMOT_PFTrack --dataset mot_rgbt --dataset_version mot_rgbt --pre_hm --ltrb_amodal --track_thresh 0.4 --pre_thresh 0.5 --load_model ./exp/tracking/VTMOT_RGBT/model.pth
评估
cd trackeval python run_mot_challenge.py
- 1Visible-Thermal Multiple Object Tracking: Large-scale Video Dataset and Progressive Fusion Approach智能计算与信号处理教育部重点实验室, 安徽大学, 公共安全与应急管理学院, 安徽理工大学, 合肥 231131, 中国 · 2024年
