FineAction

时间动作定位（TAL）是视频理解中一个重要且具有挑战性的问题。然而，大多数现有的 TAL 基准测试都是建立在动作类的粗粒度之上的，这在这项任务中表现出两个主要限制。首先，粗略的动作可以使定位模型在高级上下文信息中过拟合，而忽略视频中的原子动作细节。其次，粗略的动作类别通常会导致时间边界的模糊注释，这不适合时间动作定位。为了解决这些问题，我们开发了一种新颖的大规模细粒度视频数据集，称为 FineAction，用于时间动作定位。 FineAction 总共包含 106 个动作类别的 103K 时间实例，在 17K 未修剪的视频中进行了注释。 FineAction由于其具有丰富多样的精细动作类、多实例的密集标注以及不同类的共现动作的鲜明特点，为时间动作定位带来了新的机遇和挑战。为了对 FineAction 进行基准测试，我们系统地研究了几种流行的时间定位方法的性能，并深入分析了短期和细粒度实例对时间动作定位的影响。我们相信 FineAction 可以推进时间动作定位及其他方面的研究。
我们的 FineAction 是一个适合训练深度学习模型的大规模数据集，包含 103,324 个实例，总共 705 个视频小时。因此，FineAction 中的实例数高达每个视频 6.17 个和每个类别 975 个。