TSP6K

TSP6K数据集是一个专门为交通监控场景设计的，包含来自交通监控场景的图像，具有高质量的像素级和实例级标注。该数据集捕捉了比现有驾驶场景更为拥挤的交通场景，交通参与者数量是现有驾驶场景的数倍。The TSP6K dataset is specifically tailored for traffic monitoring scenarios. It comprises images captured from traffic monitoring environments, with high-quality pixel-level and instance-level annotations. This dataset captures traffic scenes that are more congested than existing driving scenarios, and the number of traffic participants is several times that of such existing scenarios.

原始信息汇总

TSP6K 数据集概述

数据集简介

TSP6K 数据集是一个用于交通场景解析的数据集，相关论文和代码可在 arXiv 上找到。该数据集的代码实现基于开源的语义分割工具箱 MMsegmentation。

数据集准备

数据集可从 此链接 下载，并放置在 /data/TSP6K/ 目录下。由于论文尚未被接受，下载数据集前需发送电子邮件至 pt.jiang at mail.nankai.edu.cn 获取密码。

数据集结构如下：

data ├── TSP6K │ ├── image │ ├── label │ ├── split

训练

使用以下命令训练 SegNext 模型，结合提出的 Detail Refining Decoder： bash bash tools/dist_train.sh configs/tsp6k/segnext_base_1024x1024_160k_tsp6k_msaspp_rrm_5tokens_12heads.py 8 --auto-resume

评估

结果和模型

方法	主干网络	裁剪尺寸	学习率计划	val mIoU (ms)	val iIoU (ms)	配置文件	模型
SegNext+DRD	MSCAN-B	1024x1024	160000	75.8	58.4	config	model
SegNext+DRD	MSCAN-L	1024x1024	160000	76.2	58.9	config	model

提供预训练的分割模型，可通过以下命令直接评估： bash bash tools/dist_test.sh configs/tsp6k/segnext_base_1024x1024_160k_tsp6k_msaspp_rrm_5tokens_12heads.py ./work_dirs/segnext_base_1024x1024_160k_tsp6k_msaspp_rrm_5tokens_12heads/latest.pth 8 --out ./work_dirs/segnext_base_1024x1024_160k_tsp6k_msaspp_rrm_5tokens_12heads/results.pkl --aug-test --eval mIoU

使用 iIoU 指标评估分割模型： bash bash tools/dist_test.sh configs/tsp6k/segnext_base_1024x1024_160k_tsp6k_msaspp_rrm_5tokens_12heads.py ./work_dirs/segnext_base_1024x1024_160k_tsp6k_msaspp_rrm_5tokens_12heads/latest.pth 8 --out ./work_dirs/segnext_base_1024x1024_160k_tsp6k_msaspp_rrm_5tokens_12heads/results.pkl --aug-test --eval cityscapes

引用

如果 TSP6K 数据集和分割网络对您的研究有用，请引用：

@inproceedings{jiang2024traffic, title={Traffic Scene Parsing through the TSP6K Dataset}, author={Jiang, Peng-Tao and Yang, Yuqi and Cao, Yang and Hou, Qibin and Cheng, Ming-Ming and Shen, Chunhua}, booktitle={Proceedings of the IEEE/CVF conference on computer vision and pattern recognition}, year={2024} }

搜集汇总

数据集介绍

构建方式

TSP6K数据集的构建方式体现了对交通监控场景的深入理解和专业设计。该数据集从城市道路的高空拍摄平台精心收集了6000张交通图像，确保了数据的地理多样性和时间多样性。为了实现语义分割和实例分割，数据集提供了高质量的像素级和实例级标注。这些标注不仅涵盖了常见的交通元素，如车辆、行人和交通标志，还特别标注了道路上的指示标志，如人行横道、驾驶指示和车道线，以增强对监控场景的理解。

特点

TSP6K数据集的显著特点在于其专注于交通监控场景，相较于现有的自动驾驶数据集，它捕捉了更为拥挤和复杂的交通环境。数据集中的图像包含了比传统驾驶场景多几倍的交通参与者，且实例大小差异显著，从小型摩托车到大型公交车均有涵盖。此外，TSP6K数据集还展现了驾驶场景与监控场景之间的大域差异，为研究无监督域适应方法提供了宝贵的资源。

使用方法

TSP6K数据集适用于多种计算机视觉任务，包括语义分割、实例分割和无监督域适应。研究者可以利用该数据集训练和评估场景解析算法，特别是那些旨在处理高密度交通场景和不同实例大小的模型。此外，数据集的实例级标注为实例分割方法的开发和评估提供了理想的环境。对于无监督域适应研究，TSP6K数据集可以作为目标域，帮助模型从驾驶场景迁移到监控场景，从而提升在实际交通监控中的应用效果。

背景与挑战

背景概述

随着智能城市的发展，交通场景感知在计算机视觉领域变得至关重要。现有的数据集主要集中在自动驾驶场景，然而，这些数据集在交通监控场景中的表现往往不尽如人意。为了填补这一空白，Peng-Tao Jiang等研究人员于2024年创建了TSP6K数据集，该数据集专注于交通监控场景，包含高质量的像素级和实例级标注。TSP6K数据集捕捉了比现有驾驶场景更为拥挤的交通场景，具有更多的交通参与者。该数据集的创建旨在推动交通监控场景理解的研究，并为相关领域的算法评估提供了新的基准。

当前挑战

TSP6K数据集在构建过程中面临多项挑战。首先，交通监控场景的复杂性远超自动驾驶场景，数据集需要捕捉到更多的交通参与者，这增加了标注的难度和成本。其次，交通监控场景中的实例大小差异极大，从小型行人到大型车辆，这对算法的细节处理能力提出了高要求。此外，交通监控场景与驾驶场景之间存在显著的领域差异，模型在跨领域适应时表现不佳。最后，数据集的地理多样性和天气多样性也带来了数据收集和标注的挑战，确保数据集的多样性和代表性是构建过程中的重要任务。

常用场景

经典使用场景

TSP6K数据集在交通监控场景解析中展现了其经典应用。该数据集通过提供高质量的像素级和实例级标注，捕捉了比现有驾驶场景更为拥挤的交通场景。研究者们利用TSP6K数据集对先前的场景解析方法、实例分割方法以及无监督域适应方法进行了全面评估，并提出了细节优化解码器，显著提升了交通监控场景的解析效果。

实际应用

TSP6K数据集在实际应用中具有广泛潜力，特别是在交通流量分析和城市交通管理中。通过解析交通监控图像，可以实时获取交通参与者的分布和动态，从而优化交通信号控制、预测交通拥堵并提升公共安全。此外，该数据集还可用于训练和验证智能交通系统中的各种算法，推动自动驾驶和智能交通技术的发展。

衍生相关工作

基于TSP6K数据集，研究者们提出了多种改进的场景解析和实例分割方法。例如，细节优化解码器的提出显著提升了交通监控场景的解析精度。此外，该数据集还激发了无监督域适应方法的研究，特别是在从驾驶场景到监控场景的域适应问题上。这些相关工作不仅提升了现有算法的性能，还为未来的智能交通研究提供了新的方向和思路。