WSAG

我们提出了一个新的具有挑战性的接地任务: 弱监督的时间文章接地 (WSAG)。具体来说，给定一篇文章和相关视频，WSAG旨在将所有 “基础” 句子本地化到视频中，这些句子可能处于不同的语义范围。因此，我们收集了第一个WSAG数据集来促进这项任务: YouwikiHow，它借用了wikiHow文章和大量YouTube视频中固有的多尺度描述。此外，我们为WSAG提出了一种简单但有效的DualMIL方法，该方法由两级MIL损失和单/跨句约束损失组成。这些培训目标是为这些宽松的假设而精心设计的。