biu-nlp/alsqa

ALSQA数据集旨在测试阅读理解模型中的词汇重叠启发式方法。该数据集通过众包方式生成问题对，包含365个问题对，其中190个有答案，174个没有答案。数据集的结构与SQuAD v2相同，包含id、title、context、question和answers等字段。

原始信息汇总

数据集概述

数据集名称

• 名称: ALSQA

数据集创建

• 注释创建者: 众包
• 语言创建者: 众包

语言信息

• 语言: 英语

许可证

• 许可证: Apache-2.0

多语言性

• 多语言性: 单语种

大小分类

• 大小分类: 小于1000

源数据集

• 源数据集: 原始数据

任务类别

• 任务类别:
  • 问答
  • 文本分类

任务ID

• 任务ID:
  • open-domain-qa
  • extractive-qa

论文代码ID

• 论文代码ID: alsqa

数据集结构

数据实例

• 数据实例: 与squad_v2相同

数据字段

• 数据字段:
  • id: 字符串类型
  • title: 字符串类型
  • context: 字符串类型
  • question: 字符串类型
  • answers: 字典类型，包含:
    • text: 字符串类型
    • answer_start: 整数类型

数据分割

• 数据分割:
  • squad_v2: 测试集包含365个问题

数据集创建

数据集摘要

• 数据集摘要: 为了测试阅读理解模型中词汇重叠启发式的利用，创建了一个新的测试集：Analyzing Lexically Similar QA (ALSQA)。该数据集通过众包工作者从具有低重叠的问题生成具有高上下文重叠的问题（这些问题是原始问题的释义）来增强SQuAD 2.0数据集。ALSQA包含365个问题对，其中190个有答案，174个没有答案。