CogComp/eraser_multi_rc|阅读理解数据集|多句问题处理数据集

Eraser MultiRC（多句子阅读理解）是一个包含短段落和多句子问题的数据集，问题的答案可以从段落内容中得出。数据集设计时考虑了三个关键挑战：每个问题的正确答案数量未预先指定、正确答案不一定是文本中的片段、段落来源多样。数据集的目的是鼓励研究社区探索超越词汇级别匹配的方法。数据集包含训练集、验证集和测试集，分别有24029、3214和4848个样本。数据字段包括passage、query_and_answer、label和evidences。

原始信息汇总

数据集概述

名称: Eraser MultiRC (Multi-Sentence Reading Comprehension)

语言: 英语 (en)

许可证: 其他

多语言性: 单语

大小类别: 10K<n<100K

来源数据集: 原创

任务类别: 多项选择

任务ID: 多项选择-qa

数据集结构

数据实例

• 字段:
  • passage: 字符串类型
  • query_and_answer: 字符串类型
  • label: 分类标签，包括 False (0) 和 True (1)
  • evidences: 字符串序列列表

数据分割

名称	训练	验证	测试
默认	24029	3214	4848

数据集创建

许可证信息

• 许可证: 研究与学术使用许可证，由伊利诺伊大学厄巴纳-香槟分校认知计算组提供。
• 条款: 允许学术和研究目的的使用、衍生作品的创建和分发，禁止商业使用。

引用信息

@unpublished{eraser2019, title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models}, author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace} } @inproceedings{MultiRC2018, author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth}, title = {Looking beyond the Surface: A Challenge Set for Reading Comprehension over Multiple Sentences}, booktitle = {Proceedings of North American Chapter of the Association for Computational Linguistics (NAACL)}, year = {2018} }