lmqg/qa_squadshifts

SQuADShifts数据集是一个英语单语数据集，专门用于问答任务。该数据集包含自定义的训练、验证和测试分割，旨在评估问答模型在不同数据分布下的表现。数据集中的每个样本包括一个唯一的id、文章标题、相关段落、提出的问题以及答案。

原始信息汇总

数据集概述

数据集基本信息

• 名称: SQuADShifts
• 许可证: CC-BY-4.0
• 语言: 英语 (en)
• 多语言性: 单语种
• 大小: 1k<n<10k
• 来源数据集: 扩展自维基百科
• 任务类别: 问答
• 任务ID: 抽取式问答 (extractive-qa)

数据集描述

• 概述: SQuADShifts 数据集，包含自定义的训练/验证/测试分割，遵循 lmqg/qg_squadshifts 的分割方式。
• 支持的任务: 问答

数据集结构

数据字段

• id: 字符串类型，标识符
• title: 字符串类型，段落标题
• context: 字符串类型，段落内容
• question: 字符串类型，问题
• answers: JSON 类型，答案

数据分割

• 默认分割:
  • 训练: 9209
  • 验证: 6283
  • 测试: 18844
• 其他分割:
  • amazon: 训练: 3295, 验证: 1648, 测试: 4942
  • new_wiki: 训练: 2646, 验证: 1323, 测试: 3969
  • nyt: 训练: 3355, 验证: 1678, 测试: 5032
  • reddit: 训练: 3268, 验证: 1634, 测试: 4901