m-HOOD

m-HOOD数据集是由论文作者团队创建的，用于评估和改进基于YOLO的对象检测模型在处理分布外数据时的性能。该数据集包含1852张图像，是通过在现有数据集基础上进行校准和合成得到的，旨在解决现有数据集在评估OoD检测方法时存在的质量问题。数据集的应用领域主要是自动驾驶，用于减少由于模型对新颖或异常对象过度自信而产生的错误检测。

The m-HOOD dataset was developed by the research team of the associated paper to evaluate and enhance the performance of YOLO-based object detection models when dealing with out-of-distribution (OoD) data. Comprising 1,852 images, the dataset was calibrated and synthesized based on existing datasets, and was specifically constructed to address the quality-related issues prevalent in current datasets when evaluating OoD detection methods. Primarily targeted for use in the autonomous driving domain, this dataset is designed to reduce false detections caused by model overconfidence in novel or anomalous objects.

搜集汇总

数据集介绍

构建方式

m-HOOD数据集的构建旨在解决YOLO系列检测器在处理分布外数据时产生的幻觉误差问题。该数据集通过精心合成与待检测对象语义相似的分布外数据，并使用这些数据在细调YOLO检测器时抑制目标得分，从而减少幻觉误差。具体来说，m-HOOD数据集利用了Caltech 256等多样化的对象中心数据集作为候选样本来源，并采用基于推理的大语言模型（LLM）来生成候选的分布外类别，再经过人工验证以确保其有效性。最终构建的数据集包含约2000张图像，这些图像在经过预训练的视觉模型分析后确保不包含任何训练类别中的对象，从而为细调过程提供了可靠的背景或负样本。

特点

m-HOOD数据集的特点在于其精心设计的分布外样本，这些样本在语义上与训练类别相似，但在低层次属性上有所不同，从而有效地弥合了训练数据和真正新颖的分布外实例之间的差距。这种设计使得模型能够在不牺牲主要检测性能的情况下，更好地泛化和区分更广泛的分布外实例。此外，m-HOOD数据集的构建还考虑了数据集中存在的“ID离群对象”，这些对象虽然在训练类别中，但具有视觉上的异常特征，可能会对模型产生误导。通过去除这些离群对象，数据集的可靠性得到了进一步提升。

使用方法

使用m-HOOD数据集进行模型细调时，首先需要将数据集与原始的训练数据集相结合。在训练过程中，模型会同时学习如何区分分布外样本和背景，从而减少幻觉误差。在细调过程中，对于原始ID训练样本的分类损失保持不变，而对于分布外样本，所有检测到的对象都被视为负样本（背景）。通过调整模型对分布外样本的置信度得分，可以有效地降低幻觉预测的发生概率。此外，为了进一步提高模型对分布外样本的鲁棒性，还可以将OoD检测器与细调后的模型相结合，以实现对分布外样本的更精确识别和过滤。

背景与挑战

背景概述

在动态环境中，目标检测系统必须可靠地感知感兴趣的对象，而不过度自信，以确保在动态环境中的安全决策。现有的目标检测模型，如YOLO系列，在处理新对象时可能会出现过度自信的问题，导致所谓的“幻觉”错误。为了解决这个问题，研究者们提出了基于分布外（Out-of-Distribution，OoD）检测的过滤技术，作为一种额外的安全保障来过滤由新对象引起的幻觉。然而，现有的OoD基准数据集在评估YOLO系列检测器和其过滤器的性能时，往往导致不令人满意的结果。本研究旨在分析性能瓶颈的根本原因，并提出一种改进性能的方法。本研究的主要贡献包括：首先，对现有OoD基准数据集的评价结果进行了校准，发现这些数据集中大约13%的检测对象实际上是ID对象。其次，考虑将幻觉减少的任务视为检测器和过滤器的联合流程。通过开发一种方法来仔细合成一个语义上类似于要检测的对象的OoD数据集，并在YOLO检测器的微调中使用该数据集来抑制对象性得分，我们实现了在自驾驶基准BDD-100K上整体幻觉误差降低了88%。

当前挑战

该数据集所面临的挑战主要包括：1)在现有OoD基准数据集中，虽然图像声称不包含ID类（即训练数据集中定义的类别）的对象，但实际上大约13%的检测对象是ID对象，这导致了性能评估的不准确。2)ID数据集中包含的OoD对象也可能对过滤器的决策边界产生负面影响。3)构建过程中遇到的挑战包括如何精确地合成一个语义上类似于要检测的对象的OoD数据集，以及如何有效地微调YOLO检测器以抑制对象性得分。

常用场景

经典使用场景

m-HOOD数据集主要应用于YOLO系列目标检测模型中，旨在缓解模型在遇到新或未知情况时的过度自信问题。通过对模型进行微调，使用语义上类似于待检测对象的样本，使得模型在面对未知样本时更加保守，从而降低错误检测的概率。

衍生相关工作

m-HOOD数据集的提出引发了对OoD检测和目标检测模型的研究。基于m-HOOD数据集的微调方法，研究者们进一步提出了各种改进的OoD检测方法，例如使用特征空间距离、生成模型等方法来检测OoD样本。此外，m-HOOD数据集的提出还促使了YOLO系列目标检测模型在处理未知样本时的改进，例如通过引入注意力机制等方法来提高模型对未知样本的鲁棒性。

数据集最近研究

最新研究方向

本研究通过分析现有 OoD 基准数据集中存在的质量问题，发现并提出了改进 YOLO 模型中 OoD 检测性能的方法。研究首先揭示了现有数据集存在的问题，例如 OoD 图像中包含 ID 类别的对象，以及 ID 数据集中包含未被标记的 OoD 对象，这些问题导致了对 OoD 检测方法性能的高估。为了解决这些问题，研究提出了一种新的微调方法，该方法利用与 ID 数据集语义相似的 OoD 样本，通过微调 YOLO 检测器来降低对象性分数，从而有效地减少了 OoD 样本导致的幻觉错误。实验结果表明，该方法在 BDD-100K 数据集上取得了显著的性能提升，实现了 88% 的幻觉错误减少。

相关研究论文

• Mitigating Hallucinations in YOLO-based Object Detection Models: A Revisit to Out-of-Distribution Detection

  Université Grenoble Alpes, Grenoble, France; Chalmers University of Technology, Gothenburg, Sweden; University of Gothenburg, Gothenburg, Sweden; University of Liverpool, Liverpool, UK; CSX-AI, Grenoble, France · 2025年