kortukov/answer-equivalence-dataset

该数据集名为Answer Equivalence Dataset，主要用于问答系统的评估。数据集包含多个分割，包括训练集、开发集和测试集，每个分割都有对应的样本数量和评分数量。数据集还提供了基于BERT的匹配模型（BEM），该模型在该数据集上进行了微调，并可通过TensorFlow Hub使用。数据集的引入和描述可以在论文《Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation》中找到。

原始信息汇总

Answer Equivalence Dataset

数据集概述

• 许可证: Apache-2.0
• 任务类别: 文本分类
• 数据量: 1K<n<10K

数据配置

• 默认配置:
  • 训练集: train.jsonl.zip
  • 测试集: ae_test.jsonl.zip
  • 开发集: ae_dev.jsonl.zip
  • 开发集（BiDAF）: dev_bidaf.jsonl.zip
  • 开发集（XLNet）: dev_xlnet.jsonl.zip
  • 开发集（Luke）: dev_luke.jsonl.zip

数据分割和大小

• AE分割:

  • 训练集: 9,090个示例，9,090个评分
  • 开发集: 2,734个示例，4,446个评分
  • 测试集: 5,831个示例，9,724个评分
  • 总计: 17,655个示例，23,260个评分

• 按系统分割:

  • BiDAF开发预测: 5,622个示例，7,522个评分
  • XLNet开发预测: 2,448个示例，7,932个评分
  • Luke开发预测: 2,240个示例，4,590个评分
  • 总计: 8,565个示例，14,170个评分