VISAT

VISAT是一个新型的开放数据集，旨在评估交通标志识别中视觉模型的鲁棒性。该数据集基于Mapillary交通标志数据集（MTSD）构建，引入了两个基准测试，分别强调对对抗性攻击和分布偏移的鲁棒性。数据集包括了80%的训练数据、10%的验证数据和10%的测试数据，共计303929条数据。VISAT数据集为每个交通标志创建了额外的视觉属性标签（颜色、形状、符号和文本），以扩展其在评估多任务学习模型鲁棒性和识别多任务学习任务之间的虚假相关性方面的能力。VISAT is a novel open dataset designed to evaluate the robustness of visual models in traffic sign recognition. Constructed based on the Mapillary Traffic Sign Dataset (MTSD), this dataset introduces two benchmark tasks that respectively emphasize robustness against adversarial attacks and distribution shifts. It includes 80% training data, 10% validation data, and 10% test data, with a total of 303,929 samples. The VISAT dataset provides additional visual attribute labels (color, shape, symbol, and text) for each traffic sign, expanding its capability to evaluate the robustness of multi-task learning models and identify spurious correlations across multi-task learning tasks.

搜集汇总

数据集介绍

构建方式

VISAT数据集以Mapillary交通标志数据集（MTSD）为基础，通过系统化预处理流程构建而成。首先利用MTSD的边界框标注将全帧图像裁剪为交通标志补丁，显著提升了处理效率。随后采用随机均匀采样方法从原始训练集和验证集中划分出训练、验证和测试子集，确保401个类别在全部划分中均具有至少一个实例。为增强数据集的语义丰富性，开发了专用图形化标注软件，针对每个交通标志类别系统化创建了颜色、形状、符号和文本四类视觉属性标签，实现了类级别而非实例级别的属性标注策略。

特点

VISAT数据集的核心特征体现在其多维度的评估框架设计上。除了包含24万余张高质量交通标志图像外，还创新性地集成了对抗攻击与分布偏移两大鲁棒性评估基准。通过投影梯度下降（PGD）方法生成针对性对抗样本，并利用ImageNet-C的19种数据腐蚀技术构建了95组分布偏移测试集。特别值得注意的是，数据集首次系统化引入视觉属性标注，为多任务学习模型提供了颜色、形状、符号和文本四个语义维度的监督信号。这种设计使得VISAT不仅能评估基础模型的性能，还能深入探究多任务学习中的虚假相关性现象。

使用方法

该数据集支持端到端的模型鲁棒性评估流程。研究人员可分别使用基础测试集、对抗测试集和分布偏移测试集进行渐进式验证。针对多任务学习场景，数据集提供专门的视觉属性标签加载接口，支持同时训练颜色、形状、符号和文本四个任务头。评估阶段建议采用误差率（ε）、相对误差（Δε）和累积相对误差（εcu）等标准化指标进行量化分析。对于对抗鲁棒性研究，可利用预生成的PGD攻击样本；对于分布偏移研究，则可通过95组腐蚀数据系统评估模型在不同噪声、模糊、天气和数字干扰下的性能表现。

背景与挑战

背景概述

VISAT数据集于2025年由伊利诺伊大学厄巴纳-香槟分校、布朗大学等机构的研究团队联合发布，旨在构建一个面向交通标志识别任务的鲁棒性评估基准。该数据集基于Mapillary交通标志数据集（MTSD）构建，通过引入视觉属性（颜色、形状、符号和文本）标签，扩展了多任务学习框架下的模型评估维度。其核心研究聚焦于自动驾驶系统中视觉模型在对抗攻击和分布偏移场景下的稳定性问题，填补了现有基准在统一评估模型无关与模型特定攻击方面的空白。VISAT通过系统化标注全球范围的交通标志变体，显著提升了模型在真实驾驶环境中的泛化能力，为安全关键领域的可靠性研究提供了重要数据支撑。

当前挑战

VISAT数据集需解决交通标志识别模型在对抗攻击下的脆弱性问题，例如基于PGD的扰动可导致模型准确率急剧下降，同时需应对自然环境中光照、天气等因素引发的分布偏移挑战。构建过程中，研究团队面临视觉属性标注的复杂性，为此开发了专用软件工具以提升401类标志的标注效率；此外，原始MTSD数据缺失官方测试集标注，需通过重复采样策略重构数据划分。多任务学习框架中存在的伪相关性进一步增加了模型鲁棒性分析的难度，需通过颜色量化等技术分离属性间耦合效应。

常用场景

经典使用场景

在自动驾驶系统的安全评估领域，VISAT数据集为交通标志识别模型的鲁棒性提供了标准化测试平台。该数据集通过整合Mapillary交通标志数据集并附加视觉属性标注，构建了对抗性攻击和分布偏移两大基准测试。研究者可利用其生成的投影梯度下降对抗样本和ImageNet-C数据损坏技术，系统评估ResNet-152、ViT-B/32等主流模型在复杂环境下的稳定性。

衍生相关工作

基于VISAT的视觉属性标注体系，后续研究开发了面向多模态学习的交通标志解析框架。其对抗攻击基准催生了针对Transformer架构的防御算法改进，如在自主导航系统中应用的对抗训练增强技术。数据集提供的颜色量化方法亦启发了新型数据增强策略，被扩展应用于工业质检中的缺陷检测模型鲁棒性提升。

数据集最近研究

最新研究方向

VISAT数据集作为交通标志识别领域的前沿基准，聚焦于模型在对抗性攻击与分布偏移下的鲁棒性评估。该数据集通过引入视觉属性（颜色、形状、符号和文本）的多任务学习框架，揭示了任务间伪相关性的潜在风险。当前研究热点集中于探索投影梯度下降攻击对ResNet与Vision Transformer等主流模型的针对性影响，以及基于ImageNet-C数据腐蚀技术的分布偏移模拟。这些工作为自动驾驶系统的安全部署提供了关键理论支撑，推动了对抗防御与分布泛化技术在现实复杂场景中的深度融合。

相关研究论文

• 通过

  伊利诺伊大学香槟分校, 布朗大学, 威廉与玛丽学院 · 2025年