SearchAD

SearchAD是一个用于自动驾驶的大规模稀有图像检索数据集，旨在解决在大规模数据集中定位极其稀有类别的问题。该数据集包含423,798帧图像，513,265+个边界框标注，90个稀有类别，以及来自11个已建立的自动驾驶数据集的源数据。

SearchAD is a large-scale rare image retrieval dataset for autonomous driving, which aims to address the challenge of localizing extremely rare categories within large-scale datasets. This dataset contains 423,798 image frames, over 513,265 bounding box annotations, 90 rare categories, and source data from 11 established autonomous driving datasets.

原始信息汇总

SearchAD 数据集概述

SearchAD 是一个大规模稀有图像检索数据集，专为自动驾驶场景设计，旨在解决从海量数据中高效定位极稀有类别的“大海捞针”问题。该数据集已被 CVPR 2026 接收。

关键数据统计

属性	数值
总帧数	423,798
边界框标注	513,265+
稀有类别	90
补充类别	Animal-Real-Other、Animal-Statue-Other、Human-Duty-Other、Object-Movable-Other、Vehicle-Construction-Other
类别分组	9 组（动物、人类、标记、物体、可乘坐物、场景、标志、拖车、车辆）
源数据集	11 个

源数据集构成

SearchAD 整合了 11 个成熟的自动驾驶数据集，具体包括：

• Lost and Found：2,239 帧，18 个类别，2,098 个标注
• WildDash2：5,068 帧，80 个类别，5,032 个标注
• ACDC：8,012 帧，60 个类别，7,471 个标注
• IDD Segmentation：10,003 帧，52 个类别，12,192 个标注
• KITTI：14,999 帧，47 个类别，9,840 个标注
• Cityscapes：24,998 帧，75 个类别，31,037 个标注
• Mapillary Vistas：25,000 帧，86 个类别，35,093 个标注
• ECP：47,335 帧，76 个类别，33,081 个标注
• nuScenes：80,314 帧，56 个类别，166,152 个标注
• BDD100K：100,000 帧，80 个类别，83,102 个标注
• Mapillary Sign：105,830 帧，90 个类别，128,167 个标注

支持的任务

检索与搜索

• 文本到图像检索：基于自然语言查询的图像搜索
• 图像到图像检索：基于视觉支持集的图像搜索
• 少样本学习：利用 SearchAD 训练集的样本进行少样本学习
• 微调：在 SearchAD 训练集上微调视觉语言模型

超越检索

• 长尾感知研究：评估模型在极端罕见真实世界类别上的鲁棒性
• 开放世界与开放词汇目标检测：评估检测器在稀有、未见或代表性不足类别上的性能
• 分布外检测：识别超出典型训练分布范围的稀有或异常物体
• 检索驱动的数据筛选：利用搜索从大规模未标注数据集中主动挖掘相关训练样本
• 领域自适应：利用 11 个源数据集的多样性进行跨域泛化研究

评估指标

评价脚本支持计算以下指标：

• MAP（平均精度均值）
• R-Precision（R 精度）
• P@5（前 5 名精度）

提交与基准

• 可通过创建 submission.json 文件上传至 SearchAD 基准服务器
• 提交需指定：团队名称、模型名称、论文/代码链接、搜索模式（语言/视觉/多模态）、是否使用 SearchAD 训练集、是否使用默认查询

引用信息

如需引用 SearchAD，请参考官方论文（arXiv:2604.08008，CVPR 2026）。

搜集汇总

数据集介绍

构建方式

SearchAD数据集旨在解决自动驾驶领域中罕见场景的检索难题，其构建方式独具匠心。研究团队从Lost and Found、Cityscapes、nuScenes等11个成熟的自动驾驶数据集精心筛选并整合了超过42.3万帧图像，通过统一的标注体系重标了51.3万余个边界框，最终凝聚出涵盖9大类别（动物、人类、标记、物体、可骑乘物、场景、标志、拖车、车辆）的90个稀有类别。值得一提的是，部分类别在整个数据集中出现次数不足50次，极大地模拟了现实世界中‘大海捞针’的极端长尾分布。所有标注文件和默认查询均托管于HuggingFace平台，而原始图像则因其各自许可协议需用户从源数据集手动下载，确保了数据使用的合规性。

特点

SearchAD数据集最显著的特点在于其极致的稀有性与大规模并存，专为自动驾驶场景下的大规模稀有图像检索而设计。它聚焦于‘大海捞针’式难题，即从海量数据中定位出现频率极低的罕见类别，例如动物（真实猫、牛）、特殊车辆（火车）等，这些类别在现实世界中对行车安全至关重要却难以收集。数据集支持文本到图像、图像到图像等多种检索任务，并向下兼容长尾感知、开放词汇目标检测、分布外检测等前沿研究。此外，其数据源自11个不同地理与气候条件下的子数据集，天然具备丰富的域多样性，为跨域泛化研究提供了绝佳平台。

使用方法

使用SearchAD数据集需遵循一套清晰高效的流程。首先，通过GitHub仓库安装开发工具包，并利用`download_dataset.py`脚本从HuggingFace下载标注文件和默认查询，同时根据输出的指引手动从11个源数据集下载对应图像。随后，使用`prepare_image_level_annotations.py`将边界框标注转化为图像级标注，并借助`check_searchad_setup.py`验证目录结构完整性。研究者可基于训练集开发检索模型，在验证集上通过`evaluate.py`计算MAP、R-Precision等指标进行评估，最终使用`create_submission_file.py`打包预测结果并上传至基准排行榜（HuggingFace Spaces）进行测试集性能比拼，整套工具链设计完备，便于快速上手与公平比较。

背景与挑战

背景概述

SearchAD数据集由Mercedes-Benz AG与Esslingen应用科学大学的Felix Embacher、Jonas Uhrig、Marius Cordts及Markus Enzweiler于2026年联合创建，相关研究成果已被CVPR 2026收录。该数据集旨在解决自动驾驶领域中大规模数据集内罕见且安全关键性场景的检索难题，其核心研究问题为如何在超过42万帧的庞大数据中精准定位出现频次极低的类别（部分类别出现次数少于50次），即所谓的‘大海捞针’问题。通过整合Cityscapes、nuScenes、BDD100K等11个成熟自动驾驶数据集，SearchAD提供了90个罕见类别及超过51万帧边界框标注，为长尾分布下的自动驾驶感知研究奠定了坚实基准，极大推动了文本到图像检索、少样本学习、开集检测及领域自适应等方向的发展。

当前挑战

该数据集面临的挑战主要体现在两方面：其一，在领域问题层面，SearchAD聚焦于自动驾驶场景中极端长尾分布的图像检索任务，不同于传统图像分类或通用检索，其需要从海量正常场景中高效识别出极少出现的罕见事件（如动物出没、特殊车辆或异常标记），这对现有视觉-语言模型在有限样本下的泛化能力和鲁棒性提出了严苛考验；其二，在构建过程中，数据集的整合面临多重困难，包括从11个来源各异的数据集中统一标注体系、协调不同许可协议以合规发布、手动下载超过42万张原始图像，以及确保跨数据集、跨天气与光照条件下标注的一致性与准确性，这些环节均需精细的工程设计与人工校验。

常用场景

经典使用场景

在自动驾驶感知系统的研究范式中，从海量行驶数据中高效检索罕见但具安全关键性的驾驶场景，已成为提升模型鲁棒性的核心挑战。SearchAD数据集专门针对这一"大海捞针"问题设计，汇集了来自11个经典自动驾驶数据集的逾42万帧图像，并精心标注了90类稀有目标，其中部分类别在全集中出现次数不足50次。其最经典的使用场景是文本到图像与图像到图像的稀有场景检索任务，研究者可借助语言描述或示例图集，在大规模数据中精准定位包含稀有动物、异常行人、特殊车辆或罕见交通标志的图像，从而替代传统随机采样，实现数据的高效挖掘与利用。

解决学术问题

SearchAD的构建深刻回应了自动驾驶领域长期存在的长尾分布难题——常规数据集中的罕见事件因样本极度稀疏，导致模型在开放世界中泛化能力显著退化。该数据集从学术层面首次系统性地整合多源数据，提出统一的稀有类别标注体系，使研究者能够在统一的基准上评估和对比不同检索算法、视觉语言模型及异常检测方法对极端不平衡数据的处理能力。它推动了长尾感知、开集目标检测、分布外异常识别及跨域泛化等关键问题的发展，为构建更安全的自动驾驶系统奠定了可重复、可量化的实验基础，其影响已延伸至多模态检索与数据高效学习等更广泛的计算机视觉领域。

衍生相关工作

SearchAD的发布催生了一系列具有代表性的衍生研究工作。一方面，研究者基于其多源异构特性，探索了域适应与域泛化技术，例如利用数据集内城市场景、乡间道路及不同天气条件下的图像分布差异，设计面向自动驾驶的跨域检索与检测方法。另一方面，其细粒度且极度长尾的标签体系，有力推动了小样本学习与零样本检索范式的创新，如结合对比学习或提示调优策略，在极少量示例条件下实现对罕见类别的精准检索。此外，该数据集与视觉语言模型的结合催生了多模态场景复述与生成式查询相关研究，例如利用扩散模型为罕见类别合成多样化训练样本，以缓解数据稀疏问题，这些工作共同拓展了自动驾驶数据高效学习的理论边界。