MultiSubs (MultiSubs: A Large-scale Multimodal and Multilingual Dataset)

MultiSubs 是从 OPUS OpenSubtitles 数据集收集的多语言字幕数据集，该数据集又来自 opensubtitles.org。我们在字幕中用网络图像补充了一些文本片段（此版本中的视觉显着名词），其中片段的词义已使用跨语言方法消除歧义。我们引入了填空任务和词汇翻译任务来演示数据集的实用性。有关数据集和任务的更详细描述，请参阅我们的论文。 Multisubs 将有利于单词视觉基础的研究，尤其是在自由形式句子的上下文中。