hdong51/MultiOOD

MultiOOD是一个用于多模态异常检测的基准数据集，基于五个公开的动作识别数据集（HMDB51、UCF101、EPIC-Kitchens、HAC和Kinetics-600）。该数据集提供了视频、光流和音频等多种模态的数据，并详细描述了数据集的下载和准备步骤。此外，数据集还提供了多模态近异常和远异常检测的基准分割方法，并介绍了一种新的异常合成算法NP-Mix，以增强异常检测性能。

原始信息汇总

数据集概述

名称: MultiOOD

描述: MultiOOD是首个针对多模态分布外检测的基准，具有多样化的数据集大小和不同的模态组合。

任务类别: 特征提取

语言: 英语

标签: 分布外检测, 多模态学习

大小: 100K<n<1M

数据集内容

基础数据集:

• HMDB51
• UCF101
• EPIC-Kitchens
• HAC
• Kinetics-600

数据准备:

• HMDB51: 视频和光流数据需从指定链接下载并按特定目录结构整理。
• UCF101: 视频和光流数据需从指定链接下载并按特定目录结构整理。
• EPIC-Kitchens: 视频、光流和音频数据需通过脚本下载并按特定目录结构整理。
• HAC: 视频、光流和音频数据需从指定链接下载并按特定目录结构整理。
• Kinetics-600: 视频数据通过wget命令下载，光流数据从指定链接下载，音频数据通过脚本从视频数据生成。

数据集分割:

• 多模态近分布外和远分布外基准的分割信息可在GitHub仓库中找到。

方法论

• 引入A2D算法以增强跨模态预测差异。
• 提出NP-Mix算法，用于探索更广泛的特征空间，以增强分布外检测性能。

联系方式

• 邮箱: [e-mail]

引用信息

@article{dong2024multiood, author = {Hao Dong and Yue Zhao and Eleni Chatzi and Olga Fink}, title = {{MultiOOD: Scaling Out-of-Distribution Detection for Multiple Modalities}}, journal = {arXiv preprint arXiv:2405.17419}, year = {2024}, }

搜集汇总

数据集介绍

构建方式

MultiOOD数据集的构建基于五个公开的动作识别数据集：HMDB51、UCF101、EPIC-Kitchens、HAC和Kinetics-600。每个数据集包含视频、光流和音频数据，通过特定的下载和提取步骤，确保数据结构的统一性。例如，HMDB51和UCF101的视频和光流数据分别从指定链接下载并解压，而EPIC-Kitchens和HAC则通过脚本自动下载和解压。Kinetics-600的视频数据通过wget命令下载，音频数据则从视频数据中提取。所有数据集的目录结构经过调整，以确保一致性。

使用方法

使用MultiOOD数据集时，首先需按照README文件中的步骤下载和准备各个数据集，确保目录结构的一致性。随后，可以根据提供的代码库（https://github.com/donghao51/MultiOOD）进行数据加载和预处理。数据集的分割信息可在代码库的指定路径下找到，用于构建Near-OOD和Far-OOD基准。在模型训练和评估过程中，可以结合A2D和NP-Mix算法，以提升多模态OOD检测的效果。

背景与挑战

背景概述

在多模态学习领域，分布外检测（Out-of-Distribution Detection, OOD）是一个关键且具有挑战性的问题。MultiOOD数据集由ETH Zurich、University of Southern California和EPFL的研究团队于2024年创建，旨在为多模态OOD检测提供一个全面的基准。该数据集基于五个公开的动作识别数据集（HMDB51、UCF101、EPIC-Kitchens、HAC和Kinetics-600），涵盖了视频、音频和光流等多种模态。MultiOOD的推出不仅填补了多模态OOD检测领域的空白，还为相关研究提供了丰富的资源和标准化的评估平台，极大地推动了该领域的发展。

当前挑战

MultiOOD数据集在构建过程中面临多重挑战。首先，多模态数据的整合与标准化是一个复杂的过程，涉及不同数据源的下载、提取和结构化。其次，确保数据集的多样性和代表性，以覆盖广泛的OOD场景，是另一个重要挑战。此外，数据集的规模和模态组合的多样性增加了模型训练和评估的难度。最后，如何在多模态环境中有效检测OOD样本，仍是一个开放且具有挑战性的研究问题，需要进一步探索和优化。

常用场景

经典使用场景

在多模态学习领域，MultiOOD数据集以其独特的多模态组合和大规模数据特性，成为研究分布外检测（Out-of-Distribution Detection）的经典基准。该数据集通过整合五个公开的动作识别数据集（HMDB51, UCF101, EPIC-Kitchens, HAC, 和 Kinetics-600），提供了丰富的视频、音频和光流数据，使得研究者能够在多模态环境下探索和验证分布外检测算法的效果。

解决学术问题

MultiOOD数据集解决了多模态学习中分布外检测的关键学术问题。传统的分布外检测方法往往局限于单一模态，而MultiOOD通过引入多模态数据，使得研究者能够更全面地评估和提升检测算法的鲁棒性和泛化能力。这不仅推动了多模态学习理论的发展，也为实际应用中的异常检测提供了新的思路和方法。

实际应用

在实际应用中，MultiOOD数据集为智能监控、自动驾驶和医疗诊断等领域提供了重要的技术支持。例如，在智能监控系统中，通过结合视频、音频和光流数据，系统能够更准确地识别和预警异常行为，从而提升公共安全。在自动驾驶领域，多模态数据的融合可以增强车辆对复杂环境的感知能力，减少误判和事故风险。

数据集最近研究

最新研究方向

在多模态学习领域，MultiOOD数据集的引入标志着分布外检测（Out-of-Distribution Detection）研究的新里程碑。该数据集通过整合多种模态（如视频、音频和光流），为研究人员提供了一个全面的基准，以探索和评估多模态分布外检测的性能。当前的前沿研究主要集中在开发新的算法，如A2D和NP-Mix，这些算法旨在增强模态间的预测差异，并通过合成异常数据来扩展特征空间，从而提升检测的准确性和鲁棒性。此外，MultiOOD的发布也促进了跨模态数据融合技术的研究，为多模态系统的实际应用提供了理论支持和技术储备。