UnifiedQA

问答 (QA) 任务已使用各种格式提出，例如提取跨度选择，多项选择等。这导致了格式专用模型，甚至导致了QA社区中的隐式划分。我们认为，这种界限是人为的，也许是不必要的，因为我们寻求教授的推理能力不受格式的约束。作为证据，我们使用语言建模的最新进展来构建一个预先训练的QA模型UnifiedQA，它在跨越4种不同格式的17个QA数据集上表现出色。UnifiedQA与9个不同的模型相当，这些模型在单独的数据集上进行了训练。即使面对12个看不见的观察格式的数据集，UnifiedQA的表现也令人惊讶，从其格式外的训练数据中显示出强大的泛化能力。最后，简单地将这个预先训练的QA模型微调成专门的模型，就会在6个数据集上产生新的技术水平，建立UnifiedQA作为构建QA系统的强大起点。