weijiang2009/AlgmonQuestioningAnsweringDataset

SQuAD2.0数据集结合了SQuAD1.1中的10万个问题，以及由众包工作者编写的超过5万个看似可回答但实际上无法回答的问题。要在SQuAD2.0上表现良好，系统不仅需要在可能的情况下回答问题，还需要判断段落是否支持答案，并在不支持时选择不回答。数据集包含训练集和验证集，分别有130,319和11,873个样本。

原始信息汇总

数据集概述

数据集名称

• pretty_name: SQuAD2.0

数据集创建者

• annotations_creators: crowdsourced
• language_creators: crowdsourced

语言

• language: en

许可证

• license: cc-by-sa-4.0

多语言性

• multilinguality: monolingual

大小分类

• size_categories: 100K<n<1M

源数据集

• source_datasets: original

任务类别

• task_categories: question-answering

任务ID

• task_ids:
  • open-domain-qa
  • extractive-qa

训练与评估索引

• config: squad_v2
• task: question-answering
• task_id: extractive_question_answering
• splits:
  • train_split: train
  • eval_split: validation
• col_mapping:
  • question: question
  • context: context
  • answers:
    • text: text
    • answer_start: answer_start
• metrics:
  • type: squad_v2
  • name: SQuAD v2

数据集信息

• features:
  • name: id, dtype: string
  • name: title, dtype: string
  • name: context, dtype: string
  • name: question, dtype: string
  • name: answers, sequence:
    • name: text, dtype: string
    • name: answer_start, dtype: int32
• config_name: squad_v2
• splits:
  • name: train, num_bytes: 116699950, num_examples: 130319
  • name: validation, num_bytes: 11660302, num_examples: 11873
• download_size: 46494161
• dataset_size: 128360252