lhoestq/squad

斯坦福问答数据集（SQuAD）是一个阅读理解数据集，由众包工作者在维基百科文章上提出问题，每个问题的答案是对应阅读段落中的一段文本，或者问题可能是无法回答的。

Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset, consisting of questions posed by crowdworkers on a set of Wikipedia articles, where the answer to every question is a segment of text, or span, from the corresponding reading passage, or the question might be unanswerable. The dataset is monolingual in English and is crowdsourced. It includes features such as id, title, context, question, and answers with text and answer_start as sub-features. The dataset is licensed under CC-BY-4.0.

原始信息汇总

数据集概述

基本信息

• 数据集名称: SQuAD
• 标注创建者: 众包
• 语言创建者: 众包、发现
• 语言: 英语
• 许可证: CC BY 4.0
• 多语言性: 单语种
• 大小类别: 10K<n<100K
• 源数据集: 扩展自Wikipedia
• 任务类别: 问答
• 任务ID: 抽取式问答
• PapersWithCode ID: squad

数据集结构

数据实例

• 配置: plain_text
• 下载大小: 35.14 MB
• 生成大小: 89.92 MB
• 总磁盘使用量: 125.06 MB
• 训练实例示例: json { "answers": { "answer_start": [1], "text": ["This is a test text"] }, "context": "This is a test context.", "id": "1", "question": "Is this a test?", "title": "train test" }

数据字段

• id: 字符串
• title: 字符串
• context: 字符串
• question: 字符串
• answers: 字典，包含以下字段:
  • text: 字符串
  • answer_start: 整数 (int32)

数据分割

• 训练集: 87599个实例
• 验证集: 10570个实例

数据集创建

数据集信息

• 特征:
  • id: 字符串
  • title: 字符串
  • context: 字符串
  • question: 字符串
  • answers: 序列，包含以下字段:
    • text: 字符串
    • answer_start: 整数 (int32)
• 配置名称: plain_text
• 分割:
  • 训练集: 79317110字节，87599个实例
  • 验证集: 10472653字节，10570个实例
• 下载大小: 35142551字节
• 数据集大小: 89789763字节