UCLNLP/adversarial_qa|自然语言处理数据集|机器学习数据集

adversarialQA数据集是一个用于阅读理解任务的对抗性问答数据集，旨在挑战当前最先进的模型。数据集包含三个不同的子集，分别使用BiDAF、BERT-Large和RoBERTa-Large模型在注释循环中构建。每个子集包含10,000个训练样本、1,000个验证样本和1,000个测试样本。数据集的文本为英语，来源于Wikipedia，并由Amazon Mechanical Turk上的众包工作者进行注释。数据集的主要任务是从给定的段落中提取问题的答案，通常通过F1分数来衡量模型的性能。

原始信息汇总

数据集概述

数据集总结

• 名称: adversarialQA
• 语言: 英语 (en)
• 许可证: CC-BY-SA-4.0
• 多语言性: 单语
• 大小: 10K<n<100K
• 来源: 原始数据
• 任务类别: 问答
• 任务ID: extractive-qa, open-domain-qa
• 论文代码ID: adversarialqa
• 预处理配置:
  • adversarialQA:
    • 特征:
      • id: 字符串
      • title: 字符串
      • context: 字符串
      • question: 字符串
      • answers: 序列
        • text: 字符串
        • answer_start: int32
      • metadata: 结构
        • split: 字符串
        • model_in_the_loop: 字符串
    • 分割:
      • train: 30000 样本, 27858686 字节
      • validation: 3000 样本, 2757092 字节
      • test: 3000 样本, 2919479 字节
    • 下载大小: 5301049 字节
    • 数据集大小: 33535257 字节
  • dbert:
    • 特征: 同上
    • 分割:
      • train: 10000 样本, 9345521 字节
      • validation: 1000 样本, 918156 字节
      • test: 1000 样本, 971290 字节
    • 下载大小: 2689032 字节
    • 数据集大小: 11234967 字节
  • dbidaf:
    • 特征: 同上
    • 分割:
      • train: 10000 样本, 9282482 字节
      • validation: 1000 样本, 917907 字节
      • test: 1000 样本, 946947 字节
    • 下载大小: 2721341 字节
    • 数据集大小: 11147336 字节
  • droberta:
    • 特征: 同上
    • 分割:
      • train: 10000 样本, 9270683 字节
      • validation: 1000 样本, 925029 字节
      • test: 1000 样本, 1005242 字节
    • 下载大小: 2815452 字节
    • 数据集大小: 11200954 字节

支持的任务和排行榜

• 任务: 抽取式问答 (extractive-qa)
• 评估指标: F1 分数
• 当前最佳模型: RoBERTa-Large, 64.35% F1
• 排行榜: Dynabench QA Round 1 Leaderboard

数据集结构

• 数据实例: 遵循 SQuAD 1.1 格式
• 数据字段:
  • title: 文章标题
  • context: 文章内容
  • id: 问题唯一标识
  • answers: 答案列表，包含 text 和 answer_start
• 数据分割:
  • 使用不同模型（BiDAF, BERT-Large, RoBERTa-Large）构建的三个数据集，每个数据集包含 10,000 训练样本，1,000 验证样本，1,000 测试样本

数据集创建

• 注释过程: 通过对抗性人类注释过程收集，人类注释者和阅读理解模型在交互设置中配对
• 注释者: 来自 Amazon Mechanical Turk，地理限制在美国、英国和加拿大，具有高 HIT 批准率

使用数据的考虑

• 社会影响: 旨在帮助开发更好的问答系统
• 偏见讨论: 数据集可能展示源文章选择、注释问题和答案以及算法偏见

附加信息

• 数据集创建者: Max Bartolo, Alastair Roberts, Johannes Welbl, Sebastian Riedel, Pontus Stenetorp
• 贡献者: @maxbartolo