CRTrack

CRTrack是一个跨视图引用多目标跟踪基准数据集，基于CAMPUS和DIVOTrack数据集构建，提供了13个不同场景和221个语言描述。

CRTrack is a cross-view reference multi-object tracking benchmark dataset built upon the CAMPUS and DIVOTrack datasets, featuring 13 distinct scenarios and 221 language descriptions.

原始信息汇总

Cross-view Referring Multi-Object Tracking（CRMOT）数据集概述

数据集简介

• 任务名称: Cross-view Referring Multi-Object Tracking (CRMOT)
• 任务描述: CRMOT任务旨在通过跨视角获取目标的外观信息，解决单视角下目标外观不可见的问题，从而更准确地跟踪与语言描述匹配的目标，并保持目标在跨视角中的身份一致性。
• 数据集名称: CRTrack
• 数据集来源: 基于CAMPUS和DIVOTrack数据集构建
• 场景数量: 13个不同场景
• 语言描述数量: 221条

数据集结构

• CRTrack数据集:
  • CRTrack_Cross-domain:
    • images/test: 包含多个视角的图像数据
    • labels_with_ids_text/test: 包含测试集的标签和文本描述
  • CRTrack_In-domain:
    • images/train: 包含训练集的图像数据
    • images/test: 包含测试集的图像数据
    • labels_with_ids/train: 包含训练集的标签
    • labels_with_ids_cross_view/train: 包含跨视角的标签
    • labels_with_ids_text/train: 包含训练集的标签和文本描述
    • labels_with_ids_text/test: 包含测试集的标签和文本描述

数据集准备

• 下载链接: Baidu网盘
• 数据准备步骤:
  1. 下载并解压数据集。
  2. 运行gen_labels_dataset.py生成labels_with_ids文件夹。
  3. 运行convert_cross_view.py生成labels_with_ids_cross_view文件夹。
  4. 修改set_CRTracker_train.py中的路径并运行该文件。
  5. 生成语言标签gt。

训练与推理

• 预训练模型下载: Baidu网盘
• 训练步骤:
  1. 下载并放置预训练模型。
  2. 修改train.py中的路径。
  3. 运行train.sh进行训练。
• 推理步骤: 运行test.sh进行推理。

评估

• 评估环境配置:
  • 安装MATLAB 2020a。
  • 创建并激活虚拟环境。
  • 安装必要的Python库和MATLAB引擎。
• 评估步骤:
  1. 压缩推理结果并解压到指定文件夹。
  2. 修改inference_convert.py和gt_convert.py中的路径并运行。
  3. 运行prepare_cross_view_eval.py整合推理结果和地面真值标签。
  4. 运行evalMOT.py进行评估。
  5. 统计CVRIDF1和CVRMA指标。

致谢

• 部分代码借鉴自以下项目:
  • shengyuhao/DIVOTrack
  • ifzhang/FairMOT
  • wudongming97/RMOT

搜集汇总

数据集介绍

构建方式

CRTrack数据集的构建基于CAMPUS和DIVOTrack两个现有数据集，旨在推动跨视角多目标跟踪（CRMOT）任务的发展。该数据集涵盖了13个不同场景，并提供了221条语言描述，以支持跨视角下的目标跟踪任务。通过引入多视角信息，CRTrack有效避免了单视角下目标外观不可见的问题，从而提升了目标与语言描述匹配的准确性。数据集的构建过程包括对原始数据的标注、跨视角信息的整合以及语言描述的生成，确保了数据的高质量和多样性。

使用方法

使用CRTrack数据集时，首先需要下载并解压数据集文件，按照指定的目录结构进行组织。随后，通过运行提供的Python脚本生成标签文件和跨视角信息文件。在训练阶段，用户需要下载预训练模型并配置训练环境，运行训练脚本进行模型训练。在推理阶段，用户可以通过运行测试脚本生成推理结果，并通过MATLAB环境进行结果评估。CRTrack数据集提供了详细的评估流程和指标统计方法，支持跨视角多目标跟踪任务的全面评估与分析。

背景与挑战

背景概述

CRTrack数据集由Sijia Chen、En Yu和Wenbing Tao等研究人员于2024年提出，旨在推动跨视角指代多目标跟踪（CRMOT）领域的研究。该任务的核心在于通过多视角信息来增强目标跟踪的准确性，尤其是在目标在单一视角下不可见的情况下。CRTrack基于CAMPUS和DIVOTrack数据集构建，涵盖了13个不同场景和221条语言描述，为研究者提供了一个全面的基准测试平台。该数据集的发布不仅填补了跨视角指代跟踪领域的空白，还为多目标跟踪与自然语言处理的结合提供了新的研究方向。

当前挑战

CRTrack数据集在解决跨视角指代多目标跟踪问题时面临多重挑战。首先，跨视角信息的融合与一致性维护是核心难题，如何在多视角下准确匹配语言描述并保持目标身份的一致性，需要复杂的算法设计。其次，数据集的构建过程中，如何从多个视角中提取并标注目标信息，尤其是在目标部分遮挡或不可见的情况下，增加了数据标注的复杂性和成本。此外，跨视角数据的异构性也对模型的泛化能力提出了更高的要求，如何在不同的场景和视角下保持稳定的性能，是未来研究需要攻克的关键问题。

常用场景

经典使用场景

在跨视角多目标跟踪领域，CRTrack数据集被广泛应用于评估和验证跟踪算法的性能。通过提供13个不同场景和221条语言描述，该数据集能够模拟真实世界中的复杂环境，帮助研究者测试算法在跨视角条件下的鲁棒性和准确性。特别是在多视角融合和语言描述匹配方面，CRTrack为算法提供了丰富的实验数据。

解决学术问题

CRTrack数据集有效解决了单视角多目标跟踪中目标外观不可见的问题。通过引入跨视角数据，该数据集能够捕捉目标在不同视角下的完整外观，从而避免因视角限制导致的跟踪错误。此外，CRTrack还推动了跨视角多目标跟踪任务的发展，为研究者提供了新的挑战和实验平台，促进了该领域的学术研究。

实际应用

在实际应用中，CRTrack数据集被广泛用于智能监控、自动驾驶和机器人导航等领域。通过跨视角多目标跟踪技术，智能系统能够在复杂环境中准确识别和跟踪目标，提升监控系统的效率和自动驾驶的安全性。特别是在多摄像头协同工作的场景中，CRTrack为系统提供了可靠的数据支持。

数据集最近研究

最新研究方向

在计算机视觉领域，跨视角多目标跟踪（Cross-view Referring Multi-Object Tracking, CRMOT）正逐渐成为研究热点。传统的单视角多目标跟踪（RMOT）在处理复杂场景时，往往因目标外观不可见而导致跟踪失败。CRTrack数据集的提出，通过引入多视角信息，有效解决了这一问题。该数据集基于CAMPUS和DIVOTrack构建，包含13个不同场景和221条语言描述，为研究者提供了一个全新的基准。当前的研究方向主要集中在如何通过跨视角信息提升目标跟踪的准确性和身份一致性，以及如何利用语言描述进行更精确的目标匹配。CRTracker作为一种端到端的跨视角多目标跟踪方法，已在CRTrack数据集上验证了其有效性。这一研究不仅推动了多目标跟踪技术的发展，也为智能监控、自动驾驶等应用场景提供了新的解决方案。