O-UCF, O-JHMDB, OVIS-UCF, OVIS-JHMDB, Real-OUCF

本研究引入了五个新的基准数据集，包括O-UCF和O-JHMDB用于静态遮挡，OVIS-UCF和OVIS-JHMDB用于真实遮挡运动，以及Real-OUCF用于现实世界遮挡场景。这些数据集包含20306个视频样本，涵盖24个动作类别，旨在评估模型在不同遮挡程度下的鲁棒性。数据集的创建过程包括从Pascal-VOC图像中裁剪对象并进行合成遮挡，以及从YouTube中手动挑选和标注真实遮挡视频。这些数据集主要用于视频动作检测领域，旨在解决模型在现实世界遮挡场景中的性能问题。

This study introduces five novel benchmark datasets, including O-UCF and O-JHMDB for static occlusion, OVIS-UCF and OVIS-JHMDB for real-world occluded motion, and Real-OUCF for real-world occlusion scenarios. These datasets contain 20,306 video samples spanning 24 action categories, and are designed to evaluate the robustness of models under varying degrees of occlusion. The dataset creation process involves cropping objects from Pascal-VOC images and synthesizing occlusions, as well as manually selecting and annotating real-world occluded videos from YouTube. These datasets are primarily utilized in the field of video action detection, aiming to address the performance issues of models in real-world occlusion scenarios.

原始信息汇总

数据集概述

数据集发布

• 发布内容：本文献中使用的所有数据集。
• 格式：采用可挂载的Squash格式，以加快下载和使用速度。
• 统计信息：数据集的统计信息如下：
  • 

数据集样本

• Real-UCF：包含奥运会等现实场景中的遮挡事件。

  • 样本展示：
  • 下载链接：Real-UCF数据集

• O-UCF：在官方UCF-24数据集基础上添加静态和动态遮挡。

  • 样本展示：
  • 标注标签：UCF-24标注标签
  • 遮挡测试集：O-UCF遮挡测试集

• O-JHMDB：在官方JHMDB-21数据集基础上添加静态和动态遮挡。

  • 样本展示：
  • 标注标签：JHMDB-21标注标签
  • 遮挡测试集：O-JHMDB遮挡测试集

• OVIS-UCF：在UCF-24数据集基础上添加来自YouTubeVIS的现实遮挡。

  • 样本展示：
  • 标注标签：UCF-24标注标签
  • 遮挡测试集：OVIS-UCF遮挡测试集

• OVIS-JHMDB：在JHMDB-21数据集基础上添加静态和动态遮挡。

  • 样本展示：
  • 标注标签：JHMDB-21标注标签
  • 遮挡测试集：OVIS-JHMDB遮挡测试集

数据集使用说明

• 挂载Squash文件：
  • Windows：使用7-zip解压Squashfs图像。
  • Linux：直接挂载或使用squashfuse挂载。
    • 直接挂载命令：sudo mount -o loop,ro image1.sq /mnt/image1
    • 使用squashfuse挂载：mkdir image1; squashfuse image1.sq image1

引用

如果本数据集对您的研究有帮助，请考虑引用以下文献：

@article{modi2024occlusions, title={On Occlusions in Video Action Detection: Benchmark Datasets And Training Recipes}, author={Modi, Rajat and Vineet, Vibhav and Rawat, Yogesh}, journal={Advances in Neural Information Processing Systems}, volume={36}, year={2024} }

搜集汇总

数据集介绍

构建方式

该数据集通过引入五种新的基准数据集来研究视频动作检测中的遮挡问题，包括O-UCF和O-JHMDB用于静态遮挡，OVIS-UCF和OVIS-JHMDB用于具有现实运动遮挡，以及Real-OUCF用于现实世界遮挡场景。这些数据集通过系统地操纵单一遮挡参数来生成，确保了遮挡的现实性和可控性。具体构建方法包括从Pascal-VOC图像中裁剪出常见对象作为遮挡物，并使用RGBD映射将其软融合到视频像素中，从而模拟真实对象遮挡的效果。

特点

这些数据集的主要特点在于其对遮挡的精细控制和现实性。通过不同程度的遮挡严重性和遮挡物的运动类型，数据集能够模拟从静态到动态的各种遮挡情况。此外，Real-OUCF数据集通过从YouTube上手工挑选视频，确保了遮挡场景的真实性和多样性。这些特点使得数据集非常适合用于评估和提升模型在遮挡环境下的动作检测能力。

使用方法

该数据集适用于各种视频动作检测模型的训练和评估，特别是在遮挡条件下的性能测试。使用者可以通过这些数据集来验证模型在不同遮挡严重程度和遮挡物运动情况下的鲁棒性。此外，数据集还可以用于开发新的遮挡处理技术，如遮挡增强和遮挡感知模型的训练。通过对比不同模型在这些数据集上的表现，研究者可以更好地理解遮挡对动作检测的影响，并推动相关技术的发展。

背景与挑战

背景概述

视频动作检测领域的深度学习技术近年来取得了显著进展，广泛应用于自动驾驶汽车和安全关键场景中。然而，这些模型在面对现实世界中的遮挡问题时表现出的鲁棒性仍是一个关键关注点。为了系统地研究遮挡对视频动作检测的影响，Rajat Modi、Vibhav Vineet和Yogesh Singh Rawat等人于2024年创建了五个新的基准数据集，包括O-UCF、O-JHMDB、OVIS-UCF、OVIS-JHMDB和Real-OUCF。这些数据集分别模拟了静态和动态遮挡，以及真实世界中的遮挡场景，旨在评估现有模型在不同遮挡程度下的性能。该研究不仅揭示了现有模型在遮挡情况下的不足，还提出了改进模型鲁棒性的训练策略，对视频动作检测领域的发展具有重要影响。

当前挑战

该数据集面临的挑战主要包括两个方面：一是解决视频动作检测中遮挡问题的复杂性，现有模型在遮挡程度增加时性能显著下降，且对静态遮挡和动态遮挡的响应不同；二是数据集构建过程中遇到的挑战，如如何生成逼真的遮挡样本和如何准确标注遮挡区域。此外，研究还发现现有模型对背景信息的依赖性较强，这在一定程度上限制了其在复杂遮挡场景中的表现。通过引入新的数据集和训练策略，研究团队旨在提升模型在遮挡环境下的鲁棒性，但仍需进一步研究和优化以应对更复杂的现实场景。

常用场景

经典使用场景

O-UCF, O-JHMDB, OVIS-UCF, OVIS-JHMDB, 和 Real-OUCF 数据集主要用于视频动作检测中的遮挡研究。这些数据集通过模拟静态和动态遮挡，以及真实世界中的遮挡场景，为评估现有模型在不同遮挡程度下的表现提供了基准。经典的使用场景包括在视频中检测和定位被遮挡的动作，特别是在自动驾驶和安全关键场景中，如在行人被其他物体遮挡时仍能准确识别和定位行人。

衍生相关工作

基于这些数据集，研究者们开发了多种改进视频动作检测模型鲁棒性的方法，如使用变换器和胶囊网络的结合，以及通过遮挡作为数据增强手段来训练模型。此外，还出现了一些新的研究方向，如遮挡感知的数据增强技术和遮挡情况下的实例分割方法。这些衍生工作不仅提升了模型的性能，还为遮挡问题的深入研究提供了新的视角和工具。

数据集最近研究

最新研究方向

在视频动作检测领域，遮挡问题一直是研究的前沿挑战。最近的研究方向主要集中在如何提升模型在遮挡情况下的鲁棒性。通过引入五个新的基准数据集，包括O-UCF、O-JHMDB、OVIS-UCF、OVIS-JHMDB和Real-OUCF，研究者们系统地探讨了遮挡对视频动作检测的影响。研究发现，现有的模型在遮挡程度增加时表现显著下降，且在静态遮挡和动态遮挡下的行为存在差异。研究还揭示了Transformer模型在未经过遮挡训练的情况下，仍能优于使用遮挡作为数据增强的CNN模型。此外，结合符号组件如胶囊网络，能够使模型在训练中未见过的遮挡情况下表现更好。这些发现为开发更鲁棒的遮挡模型提供了有效的训练策略，如使用遮挡作为数据增强和引入Transformer的token masking策略，从而在遮挡环境下显著提升视频动作检测的性能。

相关研究论文

• On Occlusions in Video Action Detection: Benchmark Datasets And Training Recipes

  中佛罗里达大学1, 微软研究院2 · 2024年