MultiOOD

MultiOOD基准是由苏黎世联邦理工学院、南加州大学和洛桑联邦理工学院的研究人员联合创建的多模态异常检测数据集。该数据集数据源于五个公开的动作识别数据集（HMDB51、UCF101、EPIC-Kitchens、HAC 和 Kinetics-600），共计超过85,000个视频片段，这些数据集在类别数量和大小上各不相同，类别数从7到229不等，数据集大小从3,000到57,000不等。该数据集使用了视频、光流和音频作为不同的模态类型。MultiOOD是一个创新的基准数据集，它通过结合多种类型的数据（视频、光流和音频），为研究人员提供了一个更为全面的数据资源来开发和测试异常检测类算法。

The MultiOOD benchmark is a multimodal anomaly detection dataset jointly created by researchers from ETH Zurich, the University of Southern California, and EPFL. This dataset is derived from five publicly available action recognition datasets (HMDB51, UCF101, EPIC-Kitchens, HAC, and Kinetics-600), comprising over 85,000 video clips. These datasets vary in the number of categories and size, with the number of categories ranging from 7 to 229 and the dataset size ranging from 3,000 to 57,000. The dataset utilizes video, optical flow, and audio as different modality types. MultiOOD is an innovative benchmark dataset that provides researchers with a more comprehensive data resource for developing and testing anomaly detection algorithms by combining various types of data (video, optical flow, and audio).

原始信息汇总

MultiOOD数据集概述

数据集描述

MultiOOD是一个针对多模态异常检测的基准数据集，包含多种模态组合和不同大小的数据集。该数据集基于五个公共动作识别数据集：HMDB51、UCF101、EPIC-Kitchens、HAC和Kinetics-600。

数据集组成

• HMDB51: 包含视频和光流数据。视频数据需从指定链接下载，光流数据从Hugging Face下载。
• UCF101: 同样包含视频和光流数据，下载和目录结构与HMDB51类似。
• EPIC-Kitchens: 包含视频、光流和音频数据。视频和光流数据通过脚本下载，音频数据从ETHZ Polybox下载。
• HAC: 包含人类、动物和卡通的视频、光流和音频数据，均从ETHZ Polybox下载。
• Kinetics-600: 视频数据通过脚本下载，光流数据从Hugging Face下载，音频数据通过脚本从视频数据中生成。

数据集准备

每个数据集的准备步骤包括下载原始数据、光流数据（部分数据集）、音频数据（部分数据集），并按照指定的目录结构进行组织。

数据集分割

数据集的分割信息（用于多模态近异常和远异常基准）分别存储在各自的目录下，如HMDB-rgb-flow/splits/和EPIC-rgb-flow/splits/。

方法论

MultiOOD引入了A2D算法以增强模态间的预测差异，并提出了NP-Mix算法以探索更广泛的特征空间，从而增强异常检测性能。

代码和预训练模型

代码测试环境为Python 3.10.4、torch 1.11.0+cu113和NVIDIA GeForce RTX 3090。预训练模型包括SlowFast模型（RGB模态）、SlowOnly模型（Flow模态）和Audio模型，需下载并放置在相应目录下。

多模态近异常基准

针对每个数据集，提供了基线模型、使用A2D的模型以及同时使用A2D和NP-Mix的模型的训练和评估脚本。

多模态远异常基准

同样提供了基线模型、使用A2D和NP-Mix的模型的训练和评估脚本，适用于将一个数据集作为ID，其他数据集作为异常数据的情况。

多模态近异常基准（视频、音频、光流）

针对EPIC-Kitchens和Kinetics-600，提供了包含视频、音频和光流数据的近异常检测模型的训练和评估脚本。

AI搜集汇总

数据集介绍

构建方式

MultiOOD数据集的构建基于五个公开的动作识别数据集：HMDB51、UCF101、EPIC-Kitchens、HAC和Kinetics-600。这些数据集涵盖了视频、音频和光流数据，通过特定的下载和提取步骤，确保数据的完整性和一致性。每个数据集的目录结构经过精心设计，以匹配预定义的格式，从而便于后续的数据处理和模型训练。此外，数据集的分割策略也经过详细规划，提供了Near-OOD和Far-OOD的基准测试，确保了数据集的多功能性和广泛适用性。

特点

MultiOOD数据集的显著特点在于其多模态的组合和多样化的数据规模。该数据集不仅包含了视频和光流数据，还引入了音频信息，从而提供了更为丰富的多模态输入。此外，数据集的构建过程中采用了A2D算法和NP-Mix合成算法，这些算法旨在增强模型的OOD检测性能，特别是在探索更广泛的特征空间方面。通过这些创新方法，MultiOOD数据集在多模态OOD检测领域树立了新的标杆。

使用方法

使用MultiOOD数据集时，首先需要下载并提取各个数据集的原始数据，并按照指定的目录结构进行组织。随后，用户可以根据提供的代码脚本进行模型训练和评估。数据集支持多种模态的组合，包括视频、音频和光流，用户可以根据需求选择合适的模态进行训练。此外，数据集还提供了预训练的模型权重，用户可以直接加载这些权重进行进一步的实验和研究。通过详细的代码示例和文档，用户可以轻松上手并充分利用MultiOOD数据集的潜力。

背景与挑战

背景概述

在多模态异常检测领域，MultiOOD数据集的创建标志着一次重要的突破。该数据集由ETH Zurich、University of Southern California和EPFL的研究团队共同开发，主要研究人员包括Hao Dong、Yue Zhao、Eleni Chatzi和Olga Fink。MultiOOD数据集的核心研究问题是如何在多模态环境下进行异常检测，特别是针对不同模态组合和数据规模的挑战。该数据集基于五个公开的动作识别数据集（HMDB51、UCF101、EPIC-Kitchens、HAC和Kinetics-600）构建，旨在提供一个全面的基准，以评估和改进多模态异常检测算法。MultiOOD的发布不仅推动了该领域的研究进展，还为未来的算法开发提供了宝贵的资源。

当前挑战

MultiOOD数据集在构建过程中面临多项挑战。首先，多模态数据的整合与处理是一个复杂的过程，涉及视频、音频和光流等多种数据类型的同步与分析。其次，不同数据集之间的异质性增加了数据预处理的难度，需要确保数据的一致性和可用性。此外，异常检测算法的开发也面临挑战，如何在多模态环境下准确识别和分类异常行为，同时保持算法的效率和鲁棒性，是当前研究的重点。最后，数据集的规模和多样性要求高效的计算资源和算法优化，以应对大规模数据处理和模型训练的需求。

常用场景

经典使用场景

在多模态领域，MultiOOD数据集以其独特的多模态组合和大规模数据特性，成为检测分布外（Out-of-Distribution, OOD）样本的经典基准。该数据集基于五个公开的动作识别数据集（HMDB51, UCF101, EPIC-Kitchens, HAC, 和 Kinetics-600），涵盖视频、音频和光流等多种模态，为研究人员提供了一个全面且多样化的实验平台。通过整合这些数据集，MultiOOD不仅能够评估模型在多模态环境下的OOD检测能力，还能探索不同模态间的协同效应，从而推动多模态学习的发展。

解决学术问题

MultiOOD数据集的引入，有效解决了多模态学习中OOD检测的难题。传统的单模态OOD检测方法在面对多模态数据时往往表现不佳，而MultiOOD通过提供丰富的多模态数据，使得研究人员能够开发和验证更为复杂和鲁棒的OOD检测算法。此外，该数据集还促进了多模态特征融合和跨模态信息互补的研究，为提升模型的泛化能力和鲁棒性提供了新的思路。MultiOOD的发布，不仅填补了多模态OOD检测领域的空白，还为相关研究提供了坚实的基础和丰富的资源。

衍生相关工作

MultiOOD数据集的发布，催生了大量与之相关的经典研究工作。例如，基于该数据集，研究人员提出了多种多模态OOD检测算法，如A2D和NP-Mix，这些算法通过探索模态间的差异性和互补性，显著提升了OOD检测的性能。此外，MultiOOD还激发了多模态特征表示学习和跨模态信息融合的研究，推动了多模态学习理论的发展。许多研究团队利用MultiOOD进行实验验证，发表了多篇高影响力的学术论文，进一步巩固了其在多模态学习领域的地位。