ManyModalQA

我们提出了一个新的多模式问题回答挑战MANYMODALQA，其中代理必须通过考虑三种不同的方式来回答问题: 文本，图像和表格。我们通过抓取维基百科来收集我们的数据，然后利用众包来收集问答对。我们的问题是模棱两可的，因为包含答案的方式不容易仅仅基于问题来确定。为了证明这种模糊性，我们构建了一个模态选择器 (或消歧器) 网络，与现有数据集相比，该模型在我们的挑战集上的准确性大大降低，这表明我们的问题更加模棱两可。通过分析这个模型，我们调查了
问题中的哪些词表示了模态。接下来，我们构建一个简单的基线MANYMODALQA模型，该模型基于模态选择器的预测，触发相应的预先训练的最先进的单峰QA模型。我们专注于为社区提供一个新的多模态评估集，并且只提供一个微调集，期望现有的数据集和方法将被转移到大多数培训中，以鼓励低资源的泛化，而无需针对每个新任务的大型整体培训集。我们的基线模型与人类绩效之间存在巨大差距; 因此，我们希望这一挑战鼓励对端到端模态消歧和多模态qamodles以及迁移学习的研究。