OpenImagesRoad

OpenImagesRoad是由巴黎-萨克雷大学和法国原子能与替代能源委员会创建的一个新基准数据集，主要用于开放集对象检测（OSOD）。该数据集包含来自OpenImages的道路图像，并进行了精细的注释，提供了清晰的未知对象定义和新的评估指标。数据集的创建旨在解决现有方法在数据集、评估指标和场景使用上的不一致性问题，确保对OSOD方法的准确评估。该数据集适用于自动驾驶等需要高置信度的实际应用场景，旨在提高模型对未知对象的检测和处理能力。

OpenImagesRoad is a novel benchmark dataset developed by Université Paris-Saclay and the Commissariat à l'énergie atomique et aux énergies alternatives (CEA), primarily intended for Open-Set Object Detection (OSOD). This dataset comprises road images sourced from OpenImages, with meticulous annotations, and provides clear definitions of unknown objects as well as novel evaluation metrics. The dataset is constructed to resolve the inconsistencies in datasets, evaluation metrics and scenario deployment encountered by existing OSOD methods, thereby ensuring accurate assessment of such approaches. Tailored for real-world application scenarios requiring high confidence levels such as autonomous driving, this dataset aims to enhance the model's capabilities in detecting and handling unknown objects.

搜集汇总

数据集介绍

构建方式

OpenImagesRoad数据集的构建基于OpenImages数据集，通过精心筛选和标注，专注于道路场景。该数据集利用BigDetection的精细注释，剔除了冗余和重叠的边界框，并将类别映射到基于WordNet层次结构的统一标签空间。具体而言，OpenImagesRoad包含228,153张图像和1,120,348个对象，通过层次化分类，将最常见的50%类别定义为已知类，其余定义为未知类。这种构建方式确保了数据集在真实应用中的实用性和评估的准确性。

特点

OpenImagesRoad数据集的主要特点在于其层次化的对象定义和精细的注释，这为开放集对象检测（OSOD）提供了清晰的评估基准。数据集中的图像和对象均经过严格筛选，确保了数据的高质量和场景的现实性。此外，该数据集引入了新的评估指标，如APall和APsc，这些指标不仅评估了模型的定位能力，还考虑了分类性能，从而提供了更全面的评估视角。

使用方法

OpenImagesRoad数据集适用于评估和开发开放集对象检测算法。研究者和开发者可以利用该数据集进行模型训练和测试，通过对比不同算法在已知和未知类上的表现，优化其开放集检测能力。数据集提供的层次化注释和新的评估指标，使得研究者能够更精确地分析模型在复杂场景下的性能，从而推动开放集对象检测技术的发展。

背景与挑战

背景概述

OpenImagesRoad数据集由法国巴黎萨克雷大学、法国原子能与替代能源委员会及其下属实验室List共同创建，旨在解决开放集对象检测（OSOD）中的关键问题。该数据集的构建基于OpenImages数据集，专注于道路图像，并提供了精细的注释和层次化的对象定义。主要研究人员包括Hejer Ammar、Nikita Kiselov、Guillaume Lapouge和Romaric Audigier，他们的研究聚焦于在自动驾驶等高置信度应用中，准确检测和适当处理训练过程中未见过的对象类别。通过引入OpenImagesRoad，研究团队不仅定义了未知对象的清晰层次结构，还提出了新的评估指标，从而为OSOD方法的性能评估提供了更为全面和一致的基准。

当前挑战

OpenImagesRoad数据集面临的挑战主要集中在两个方面。首先，开放集对象检测领域存在数据集、评估指标和场景使用的不一致性，这导致了不同方法之间的难以比较。其次，未知对象的定义模糊，缺乏明确的界定，使得评估过程复杂且不一致。构建过程中，研究人员必须克服数据集注释的冗余和重叠问题，确保对象定义的清晰性和一致性。此外，如何在实际应用中，如自动驾驶，处理完全未见过的对象，也是一个重要的挑战。这些问题的解决不仅需要技术创新，还需要建立统一的评估标准和清晰的定义框架。

常用场景

经典使用场景

OpenImagesRoad数据集在开放集目标检测（OSOD）领域中被广泛应用于评估模型在未知对象检测方面的性能。该数据集通过提供清晰的分层对象定义和新的评估指标，使得研究者能够系统地评估模型在检测已知和未知对象时的准确性和效率。经典使用场景包括在自动驾驶、智能监控等需要高置信度对象检测的应用中，评估模型对未知对象的识别和处理能力。

解决学术问题

OpenImagesRoad数据集解决了开放集目标检测领域中长期存在的数据集不一致、评估指标不统一以及未知对象定义模糊等问题。通过引入统一的分层对象定义和新的评估指标，该数据集为研究者提供了一个标准化的平台，使得不同方法的比较更加公平和有意义。这不仅推动了OSOD研究的进展，还为未来的研究提供了清晰的问题定义和评估框架。

衍生相关工作

基于OpenImagesRoad数据集，研究者们开发了多种改进的开放集目标检测方法。例如，OW-DETR++方法通过利用自监督视觉变换器（ViT）的性能，显著提升了伪标签生成和未知对象检测的准确性。此外，该数据集还促进了其他相关研究，如对比学习方法和多模态变换器在未知对象检测中的应用，进一步推动了开放集目标检测领域的发展。