FineGym

在公共基准上，当前的动作识别技术已经取得了巨大的成功。然而，在实际应用中使用时，例如运动分析，需要将活动解析为阶段并区分细微不同的动作的能力，它们的性能仍远不能令人满意。为了将动作识别提升到一个新的水平，我们开发了 FineGym，这是一个建立在体育馆视频之上的新数据集。与现有的动作识别数据集相比，FineGym 在丰富性、质量和多样性方面具有突出的特点。特别是，它在具有三级语义层次结构的动作和子动作级别上提供时间注释。例如，“平衡木”事件将被注释为从五个集合派生的一系列基本子动作：“跳跃”、“光束转弯”、“飞行-salto”、“飞行-手弹簧”和“dismount”，其中每组中的子动作将进一步用精细定义的类标签进行注释。这种新的粒度级别对动作识别提出了重大挑战，例如如何从连贯的动作中解析时间结构，以及如何区分细微不同的动作类别。我们系统地研究了该数据集上的代表性方法，并获得了许多有趣的发现。我们希望这个数据集可以推动对行动理解的研究。