IAD-Hoi

IAD-Hoi数据集是由北京理工大学的研究团队构建的一个全面的多模态数据集，它包含了带有定位信息的细粒度人类对象交互（HOI）对以及描述视觉信息的可解释文本。该数据集通过整合开源数据集中的不同视觉信息并进行细粒度标注来生成，旨在为异常检测提供丰富的细粒度语义信息，减少机器幻觉的发生。

The IAD-Hoi dataset is a comprehensive multimodal dataset constructed by the research team from Beijing Institute of Technology. It includes fine-grained human-object interaction (HOI) pairs with localization information, as well as interpretable texts that describe visual content. This dataset is generated by integrating diverse visual information from open-source datasets and performing fine-grained annotations, aiming to provide rich fine-grained semantic information for anomaly detection and reduce the incidence of machine hallucinations.

搜集汇总

数据集介绍

构建方式

IAD-Hoi数据集的构建过程结合了多模态数据采集与细粒度标注技术。首先，从XD-Violence和COCO等公开数据集中收集了大量视觉信息，涵盖了正常与异常场景的图像。随后，通过MiniGPT-v2等先进的目标检测模型对图像中的实体进行定位，并手动添加实体间的交互关系，确保标注的准确性与完整性。最后，利用GPT-4生成解释性文本，结合HOI对（Human-Object Interaction）形成最终的标注数据。整个构建过程通过人机协作，确保了数据的高质量与丰富性。

特点

IAD-Hoi数据集的特点在于其多模态性与细粒度标注。该数据集不仅包含图像数据，还融合了HOI对及其解释性文本，提供了丰富的语义信息。HOI对能够精确捕捉异常事件中的实体与动作关系，而解释性文本则进一步增强了模型对异常事件的理解能力。此外，数据集涵盖了多种异常类型，如打斗、枪击、车祸等，确保了其在复杂场景下的泛化能力与实用性。

使用方法

IAD-Hoi数据集主要用于训练和评估基于HOI对的异常检测模型。研究人员可以通过该数据集训练HOI提取器，以定位和匹配异常动作与实体。同时，结合视觉语言预训练框架（VLP），可以生成对检测到的异常HOI的解释性内容。在实际应用中，该数据集可用于公共安全监控、智能交通等领域，帮助模型在复杂场景中实现高精度的异常检测与解释。

背景与挑战

背景概述

IAD-Hoi数据集由北京理工大学的Yuhan Wang等人于2025年提出，旨在解决图像异常检测（IAD）领域中的关键问题。该数据集的核心研究问题是通过人类-物体交互（HOI）对来精确识别和定位图像中的异常行为。IAD-Hoi的构建基于多模态指令调优，结合了视觉语言预训练（VLP）框架，显著提升了异常检测的精确性和可解释性。该数据集的发布推动了异常检测领域的发展，特别是在公共安全与图像理解方面，提供了更为细粒度的语义信息，减少了机器幻觉的发生。

当前挑战

IAD-Hoi数据集在构建和应用过程中面临多重挑战。首先，现有的异常检测方法在处理复杂图像时，难以准确定位与异常事件相关的实体或行为，导致机器幻觉问题频发。其次，缺乏细粒度的语义信息使得模型难以有效关联实体与行为，进一步降低了检测的可靠性。在数据集构建过程中，如何从视频级粗粒度标签中提取帧级细粒度HOI对，以及如何生成可解释的文本描述，都是技术上的难点。此外，确保数据标注的准确性和一致性，尤其是在多实体交互场景中，也是构建高质量数据集的关键挑战。

常用场景

经典使用场景

IAD-Hoi数据集在图像异常检测（IAD）领域中被广泛用于训练和评估基于人-物交互（HOI）的异常检测模型。该数据集通过提供细粒度的HOI对，帮助模型在复杂场景中精确识别和定位异常行为。例如，在监控视频中，模型可以利用IAD-Hoi数据集检测到诸如打架、枪击、骚乱等异常事件，并通过HOI对准确描述事件中的主体、客体及其交互关系。

实际应用

在实际应用中，IAD-Hoi数据集被广泛用于公共安全领域，特别是在智能监控系统中。通过结合HOI对和解释性文本生成，该数据集能够帮助监控系统实时检测并解释异常事件，如暴力行为、交通事故等。这不仅提高了监控系统的响应速度，还增强了其在实际场景中的可靠性和实用性。

衍生相关工作

基于IAD-Hoi数据集，研究者们提出了多种创新的异常检测方法。例如，Hoi2Anomaly模型通过结合HOI对和视觉语言预训练框架，显著提升了异常检测的精度和解释性。此外，该数据集还推动了多模态大语言模型（MLLMs）在异常检测中的应用，衍生出如Tag2Text、LLaVA-1.5等经典工作，进一步拓展了图像异常检测的研究边界。