OmniSource

我们介绍了 OmniSource，这是一种利用 Web 数据训练视频识别模型的新颖框架。 OmniSource 克服了数据格式之间的障碍，例如用于网络监督学习的图像、短视频和未修剪的长视频。首先，具有多种格式的数据样本，由特定任务的数据收集管理并由教师模型自动过滤，转换为统一的形式。然后提出了一种联合训练策略来处理网络监督学习中多个数据源和格式之间的领域差距。在联合训练中采用了几种良好的做法，包括数据平衡、重采样和跨数据集混合。实验表明，通过利用来自多个来源和格式的数据，OmniSource 在训练中的数据效率更高。由于只有 350 万张图片和 80 万分钟的视频从互联网上抓取而没有人工标记（不到之前工作的 2%），我们使用 OmniSource 学习的模型将 2D 和 3D-ConvNet 基线模型的 Top-1 准确度提高了 3.0% 和 3.9 %，分别在 Kinetics-400 基准上。借助 OmniSource，我们使用不同的视频识别预训练策略建立了新记录。我们最好的模型在 Kinetics-400 基准上分别实现了 80.4%、80.5% 和 83.6 的 Top-1 准确度，用于从头开始训练、ImageNet 预训练和 IG-65M 预训练。