TAPOS|动作识别数据集|视频内容分析数据集

当前的动作识别方法主要依靠深度卷积网络来获得视觉和运动特征的特征嵌入。虽然这些方法在标准基准测试中表现出显着的性能，但我们仍然需要更好地理解视频，特别是它们的内部结构，如何与高级语义相关，这可能会带来多方面的好处，例如可解释性预测甚至新方法可以将识别性能提升到一个新的水平。为实现这一目标，我们构建了 TAPOS，这是一个在运动视频上开发的新数据集，带有子动作的手动注释，并在顶部进行时间动作解析研究。我们的研究表明，体育活动通常由多个子动作组成，对这种时间结构的认识有利于动作识别。我们还研究了许多时间解析方法，并因此设计了一种改进的方法，该方法能够在不知道它们的标签的情况下从训练数据中挖掘子动作。在构建的 TAPOS 上，所提出的方法被证明可以揭示动作内信息，即动作实例是如何由子动作组成的，以及交互动作信息，即一个特定的子动作可能通常出现在各种动作中。