lhoestq/custom_squad

该数据集是原始SQuAD数据集的一个自定义副本，用于展示数据集存储库。数据与原始数据集相同。斯坦福问答数据集（SQuAD）是一个阅读理解数据集，由众包人员在一组维基百科文章上提出的问题组成，每个问题的答案是对应阅读段落中的一段文本，或者问题可能是无法回答的。

This dataset is a custom copy of the original SQuAD dataset, intended for demonstrating dataset repositories. The data is identical to the original dataset. The Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset composed of questions posed by crowdworkers on a set of Wikipedia articles, where the answer to each question is either a segment of text from the corresponding reading passage, or the question may be unanswerable.

原始信息汇总

数据集概述

数据集基本信息

• 名称: SQuAD
• 语言: 英语 (en)
• 许可证: CC-BY-4.0
• 多语言性: 单语
• 大小: 10K<n<100K
• 来源数据集: 扩展自 Wikipedia

数据集内容

数据集摘要

• 描述: SQuAD（Stanford Question Answering Dataset）是一个阅读理解数据集，包含由众包工作者提出的关于一系列维基百科文章的问题。每个问题的答案是从相关阅读段落中提取的文本片段，或者问题可能无法回答。

支持的任务

• 任务类别: 问答
• 任务ID: 抽取式问答 (extractive-qa)

数据集结构

数据实例

• 示例: json { "answers": { "answer_start": [1], "text": ["This is a test text"] }, "context": "This is a test context.", "id": "1", "question": "Is this a test?", "title": "train test" }

数据字段

• 字段:
  • id: 字符串
  • title: 字符串
  • context: 字符串
  • question: 字符串
  • answers: 字典，包含:
    • text: 字符串
    • answer_start: 整数

数据分割样本大小

• 分割:
  • train: 87599
  • validation: 10570

数据集创建

来源数据

• 来源: 扩展自 Wikipedia

注释

• 创建方式: 众包

语言创建

• 创建方式: 众包和发现

个人和敏感信息

• 信息: 未提供详细信息

使用数据集的考虑

社会影响

• 影响: 未提供详细信息

偏见讨论

• 讨论: 未提供详细信息

其他已知限制

• 限制: 未提供详细信息

附加信息

数据集管理员

• 管理员: 未提供详细信息

许可证信息

• 许可证: CC-BY-4.0

引用信息

• 引用: bibtex @article{2016arXiv160605250R, author = {{Rajpurkar}, Pranav and {Zhang}, Jian and {Lopyrev}, Konstantin and {Liang}, Percy}, title = "{SQuAD: 100,000+ Questions for Machine Comprehension of Text}", journal = {arXiv e-prints}, year = 2016, eid = {arXiv:1606.05250}, pages = {arXiv:1606.05250}, archivePrefix = {arXiv}, eprint = {1606.05250}, }

贡献者

• 贡献者: @lewtun, @albertvillanova, @patrickvonplaten, @thomwolf

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，机器阅读理解一直是研究的热点与难点。lhoestq/custom_squad数据集作为斯坦福问答数据集（SQuAD）的一个定制化副本，其构建沿袭了原始SQuAD的经典范式。该数据集以维基百科文章为语料来源，通过众包平台招募标注人员，针对文章内容提出自然语言问题。每个问题的答案被定义为原文中的一个连续文本片段，即答案跨度。此外，数据集中还包含部分无答案的问题，以增强模型对不可回答场景的判别能力。这一构建方式确保了数据集在真实文本场景下的高度代表性和挑战性。

特点

lhoestq/custom_squad数据集继承了SQuAD的核心特质，展现出鲜明的特点。首先，其规模适中，训练集包含87,599个样本，验证集包含10,570个样本，总计近十万条问答对，为模型训练提供了充足的语料。其次，数据格式规范，每条样本均包含唯一的标识符、文章标题、上下文段落、问题以及答案字典，其中答案字典明确记录了答案文本及其在上下文中的起始位置，便于进行精确的抽取式问答任务。此外，数据集的单语种（英语）特性以及CC-BY-4.0许可协议，使其在学术研究与商业应用中均具备良好的可用性。

使用方法

使用lhoestq/custom_squad数据集时，研究者可借助Hugging Face的datasets库高效加载。通过简单的API调用，即可将数据划分为训练集和验证集，并直接获取结构化的样本字段。针对抽取式问答任务，模型需从给定的上下文段落中定位并抽取与问题对应的答案文本片段。数据集中提供的答案起始位置（answer_start）为模型训练提供了明确的监督信号。此外，数据集的定制化副本特性意味着用户可在此基础上进行二次改造，如扩充领域特定问题或调整答案格式，以适应下游任务的特殊需求，从而推动阅读理解技术的进一步发展。

背景与挑战

背景概述

斯坦福问答数据集（SQuAD）由Pranav Rajpurkar、Jian Zhang、Konstantin Lopyrev和Percy Liang于2016年创建，是机器阅读理解领域的里程碑式资源。该数据集基于维基百科文章，通过众包方式收集了超过10万个问题，每个问题的答案均为对应文本段落中的连续片段，标志着抽取式问答任务研究的重大突破。SQuAD的发布推动了深度学习模型在自然语言理解中的进展，催生了如BERT等预训练模型的性能基准，其影响力深远，成为评估机器阅读能力的关键测试平台。

当前挑战

SQuAD所解决的领域问题在于提升模型对文本的精确理解与推理能力，尤其是在面对复杂语境和不可回答问题时的鲁棒性。构建过程中面临的主要挑战包括：确保问题与答案的多样性和自然性，需协调大量众包工作者以生成高质量标注；处理维基百科文本的歧义性，避免答案片段与上下文逻辑冲突；以及设计合理的数据分割策略，防止训练集与验证集间的信息泄露。这些挑战共同考验了数据集的实用性与泛化能力，推动了更精准的问答系统设计。

常用场景

经典使用场景

在自然语言处理领域，机器阅读理解始终是衡量模型语义理解与推理能力的关键试金石。SQuAD（Stanford Question Answering Dataset）作为该领域的标杆性数据集，其经典使用场景聚焦于抽取式问答任务。具体而言，模型需基于给定的维基百科段落文本，精准定位并提取出能够回答对应问题的连续文本片段。这一过程不仅考验模型对上下文信息的编码能力，还要求其具备对问题意图的深刻理解，从而在浩如烟海的文本中锁定正确答案的起始与终止位置。

解决学术问题

SQuAD数据集的出现，从根本上解决了此前机器阅读理解研究中缺乏大规模、高质量、标准化评测基准的困境。在它诞生之前，学界多依赖小规模或领域特定的数据集，导致模型泛化能力与可比性严重不足。SQuAD通过众包方式在维基百科上构建了超过十万个问答对，并引入精确匹配与F1分数等严谨评估指标，为研究者提供了一个客观、公正的竞技舞台。它极大地推动了深度学习模型在文本理解与信息抽取领域的突破，催生了诸如BiDAF、BERT等里程碑式架构的涌现，其深远影响至今仍在持续。

衍生相关工作

SQuAD数据集不仅自身成为经典，更衍生了大量具有深远影响力的后续研究工作。首当其冲的是SQuAD 2.0版本，它通过引入不可回答问题，将任务难度从单一抽取提升至可回答性判断与抽取的联合挑战，进一步逼近真实应用场景。此外，基于SQuAD范式，研究者相继开发了面向特定领域的变体，如专注于生物医学文献的BioASQ与聚焦于中文的CMRC 2018。这些衍生工作不仅丰富了机器阅读理解的研究版图，也推动了预训练语言模型在迁移学习与领域适应方面的理论革新，持续引领着自然语言处理技术的发展潮流。