OccludeNet

OccludeNet是一个大规模的遮挡视频数据集，包含真实世界和合成遮挡场景视频，涵盖多种自然环境。该数据集包括动态跟踪遮挡、静态场景遮挡和多视角交互遮挡，旨在填补现有数据集的空白。

OccludeNet is a large-scale occlusion video dataset containing real-world and synthetic occlusion scenario videos across diverse natural environments. This dataset covers three types of occlusion scenarios: dynamic tracking occlusion, static scene occlusion, and multi-view interactive occlusion, aiming to fill the gaps in existing datasets.

原始信息汇总

OccludeNet 数据集概述

数据集简介

OccludeNet 是一个大规模的遮挡视频数据集，旨在解决现有动作识别视频数据集中遮挡数据不足的问题。该数据集包含真实世界和合成遮挡场景视频，涵盖动态跟踪遮挡、静态场景遮挡和多视角交互遮挡等多种自然环境下的遮挡情况。

数据集结构

OccludeNet 数据集分为四个子集：

OccludeNet-D

• 包含训练集、验证集和测试集。
• 每个集合下分为不同遮挡比例（25%、50%、75%）的子文件夹。
• 每个子文件夹下包含不同动作类别的视频文件。

OccludeNet-S

• 包含训练集、验证集和测试集。
• 每个集合下包含不同动作类别的视频文件。

OccludeNet-I

• 包含训练集、验证集和测试集。
• 每个集合下包含不同动作类别的视频文件。

OccludeNet-M

• 包含不同动作类别的视频文件，每个类别下包含多个视角的视频文件。

数据集更新

• 24.11 发布了 OccludeNet 的预印版本，地址为：https://arxiv.org/abs/2411.15729。

数据集标注

• 提供了标注文件，包含动作类别、文件名、遮挡类型、遮挡文件名、遮挡像素比例、遮挡尺寸比例、遮挡持续时间、视频时长、帧率等信息。

引用

@misc{zhou2024occludenetcausaljourneymixedview, title={OccludeNet: A Causal Journey into Mixed-View Actor-Centric Video Action Recognition under Occlusions}, author={Guanyu Zhou and Wenxuan Liu and Wenxin Huang and Xuemei Jia and Xian Zhong and Chia-Wen Lin}, year={2024}, eprint={2411.15729}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2411.15729}, }

搜集汇总

数据集介绍

构建方式

在视频动作识别领域，现有数据集对遮挡问题的覆盖不足，限制了模型的鲁棒性和性能提升。为此，我们构建了OccludeNet，这是一个大规模的遮挡视频数据集，涵盖了真实世界和合成遮挡场景的视频，涉及多种自然环境。OccludeNet通过动态跟踪遮挡、静态场景遮挡和多视角交互遮挡，填补了现有数据的空白。数据集的构建过程中，我们特别关注了遮挡对不同动作类别的影响，发现遮挡对低场景相关性和部分身体可见性的动作类别影响更大。

特点

OccludeNet的显著特点在于其对遮挡场景的全面覆盖，包括动态和静态遮挡，以及多视角交互遮挡。此外，数据集还提供了详细的注释信息，如动作类别、文件名、遮挡物类型、遮挡物文件名、遮挡物像素比、遮挡物尺寸比、遮挡持续时间、视频时长、帧率等，这些信息有助于深入分析遮挡对动作识别的影响。数据集的多样性和详细注释使其成为研究遮挡场景下动作识别的宝贵资源。

使用方法

使用OccludeNet数据集进行研究时，首先需要下载数据集并解压。数据集分为训练集、验证集和测试集，每部分都包含了不同程度的遮挡视频。用户可以根据需要选择合适的子集进行实验。为了复现实验环境，建议使用Python 3.7及以上版本，并安装PyTorch、Numpy、fvcore等依赖库。此外，数据集提供了详细的注释文件，用户可以通过这些文件获取视频样本的详细信息，以便进行更深入的分析和模型训练。

背景与挑战

背景概述

在视频动作识别领域，现有数据集普遍缺乏遮挡数据，限制了模型的鲁棒性和性能的持续提升。为此，OccludeNet数据集应运而生，由Guanyu Zhou等研究人员于2024年创建，旨在填补这一空白。该数据集包含大规模的真实世界和合成遮挡场景视频，涵盖动态跟踪遮挡、静态场景遮挡和多视角交互遮挡等多种自然环境下的情况。通过深入分析，研究人员发现遮挡对不同动作类别的影响存在显著差异，特别是那些涉及低场景相关性和部分身体可见性的动作，其准确性下降更为明显。OccludeNet的推出不仅为研究遮挡场景下的动作识别提供了丰富的数据资源，还通过引入因果动作识别（CAR）框架，推动了该领域对因果关系的深入探索和类间关联的重新评估。

当前挑战

OccludeNet数据集在构建过程中面临多重挑战。首先，如何有效模拟和收集真实世界中的遮挡场景，确保数据的多样性和代表性，是一个复杂的问题。其次，数据集的标注工作需要精确识别和记录遮挡类型、遮挡物比例、遮挡持续时间等细节，这对标注的准确性和一致性提出了高要求。此外，OccludeNet引入了多视角交互遮挡，这不仅增加了数据处理的复杂性，还对现有模型在处理多视角数据时的鲁棒性提出了新的挑战。最后，尽管OccludeNet通过CAR框架提升了模型对遮挡的鲁棒性，但如何进一步优化这一框架，使其在不同遮挡场景下均能保持高效性能，仍是一个亟待解决的问题。

常用场景

经典使用场景

在视频动作识别领域，OccludeNet 数据集因其对遮挡场景的全面覆盖而成为经典。该数据集不仅包含真实世界的遮挡视频，还涵盖了合成遮挡场景，为研究者提供了丰富的数据资源。其经典使用场景包括但不限于：通过分析不同遮挡程度下的动作识别准确性，评估现有模型的鲁棒性；利用多视角交互遮挡视频，探索动作识别中的视角不变性；以及通过动态跟踪遮挡视频，研究遮挡对动作分类的影响。这些场景为提升视频动作识别模型的性能和鲁棒性提供了宝贵的实验平台。

解决学术问题

OccludeNet 数据集解决了视频动作识别领域中长期存在的遮挡问题，为学术研究提供了新的视角和方法。该数据集通过引入多种遮挡类型和程度，揭示了遮挡对不同动作类别识别准确性的差异化影响，从而推动了对遮挡场景下因果关系的深入研究。此外，OccludeNet 提出的 Causal Action Recognition (CAR) 框架，通过后门调整和反事实推理，增强了关键演员信息的提取，显著提升了模型在遮挡环境下的鲁棒性。这一研究不仅填补了现有数据集在遮挡场景下的空白，还为可持续性能提升提供了理论基础和实践指导。

衍生相关工作

OccludeNet 数据集的发布催生了一系列相关研究工作，推动了视频动作识别领域的发展。例如，基于 OccludeNet 的 Causal Action Recognition (CAR) 框架，研究者们进一步探索了遮挡场景下的因果推理和反事实分析，提出了多种改进模型和算法。此外，OccludeNet 的多视角交互遮挡数据，激发了对视角不变性和多视角融合技术的研究，促进了视频理解模型的多维度发展。这些衍生工作不仅丰富了视频动作识别的理论体系，也为实际应用中的技术难题提供了新的解决方案。