Procedural Human Action Videos

视频中人类动作识别的深度学习正在取得重大进展，但由于其依赖于对大型视频集合进行昂贵的手动标记而减慢了速度。在这项工作中，我们研究了用于动作识别的合成训练数据的生成，因为它最近在各种其他计算机视觉任务中显示出有希望的结果。我们提出了一种可解释的人类动作视频参数生成模型，该模型依赖于现代游戏引擎的程序生成和其他计算机图形技术。我们生成了一个多样化的、现实的、物理上合理的人类动作视频数据集，称为“程序人类动作视频”的 PHAV。它总共包含 39,982 个视频，每个动作有 35 个类别的 1,000 多个示例。我们的方法不限于现有的动作捕捉序列，我们在程序上定义了 14 个合成动作。我们引入了一种深度多任务表示学习架构来混合合成视频和真实视频，即使动作类别不同。我们在 UCF101 和 HMDB51 基准上的实验表明，将我们的大量合成视频与小型真实世界数据集相结合可以提高识别性能，显着优于微调最先进的无监督视频生成模型。