XD-Violence

暴力检测已在计算机视觉中研究多年。然而，以前的工作要么是肤浅的，例如短片分类和单一场景，要么供应不足，例如单一模态和基于手工制作的多模态特征。为了解决这个问题，在这项工作中，我们首先发布了一个名为 XD-Violence 的大规模多场景数据集，总时长为 217 小时，包含 4754 个带有音频信号和弱标签的未修剪视频。然后我们提出了一个包含三个并行分支的神经网络来捕获视频片段之间的不同关系并整合特征，其中整体分支使用相似性先验捕获远程依赖关系，本地化分支使用邻近先验捕获局部位置关系，并且分数分支动态捕获接近度的预测分数。此外，我们的方法还包括一个近似器来满足在线检测的需要。我们的方法在我们发布的数据集和其他现有基准上优于其他最先进的方法。此外，大量的实验结果也显示了多模态输入和建模关系的积极影响。