squadshifts

SQuAD-shifts 提供了斯坦福问答数据集（SQuAD）的四个新的测试集，这些测试集来自不同的领域，包括维基百科文章、纽约时报文章、Reddit评论和亚马逊产品评论。每个数据集都使用与原始SQuAD v1.1数据集相同的数据生成流程、Amazon Mechanical Turk界面和数据清洗代码生成。其中，“new-wikipedia”数据集用于衡量在原始SQuAD v1.1数据集上的过拟合情况，而“new-york-times”、“reddit”和“amazon”数据集则用于衡量对自然分布偏移的鲁棒性。该数据集包含问题、上下文、答案文本和答案起始位置等字段，样本量在1万到10万之间，并采用CC-BY 4.0授权许可。