ReCO

displayName: ReCO labelTypes: - Chinese Corpus license: - Unknown paperUrl: https://arxiv.org/pdf/2006.12146v1.pdf publishDate: "2020" publishUrl: https://github.com/benywon/ReCO publisher: - Sogou tags: - Text taskTypes: - Machine Reading Comprehension - Chinese Reading Comprehension - Causal Inference --- # 数据集介绍 ## 简介 ReCO，一个人工策划的关于 Opinion 的中文阅读理解数据集。 ReCO 中的问题是向商业搜索引擎发出的基于意见的查询。这些段落由众包提供，他们从检索到的文档中提取支持片段。最后，众包工作人员给出了一个抽象的是/否/不确定的答案。 ReCO 的发布包含 300k 个问题，据我们所知，这些问题是中文阅读理解中最大的。 ReCO的一个突出特点是，除了原始上下文段落之外，我们还提供了可以直接用于回答问题的支持证据。质量分析表明 ReCO 的挑战在于它需要各种类型的推理技能，例如因果推理、逻辑推理等。当前的 QA 模型在许多问题回答问题上表现非常出色，例如 BERT (Devlin et al. 2018），在该数据集上仅达到 77% 的准确率，大大落后于人类近 92% 的性能，表明 ReCO 对机器阅读理解提出了很好的挑战。 ## 引文 ``` @inproceedings{wang2020reco, title={Reco: A large scale Chinese reading comprehension dataset on opinion}, author={Wang, Bingning and Yao, Ting and Zhang, Qi and Xu, Jingfang and Wang, Xiaochuan}, booktitle={Proceedings of the AAAI Conference on Artificial Intelligence}, volume={34}, number={05}, pages={9146--9153}, year={2020} } ``` ## Download dataset :modelscope-code[]{type="git"}显示名称：ReCO labelTypes: - 中文语料库（Chinese Corpus） license: - 未知（Unknown） paperUrl: https://arxiv.org/pdf/2006.12146v1.pdf publishDate: "2020" publishUrl: https://github.com/benywon/ReCO publisher: - 搜狗（Sogou） tags: - 文本（Text） taskTypes: - 机器阅读理解（Machine Reading Comprehension） - 中文阅读理解（Chinese Reading Comprehension） - 因果推理（Causal Inference） --- ## 数据集介绍 ## 简介 ReCO是一套人工策划的面向观点类任务的中文阅读理解数据集。ReCO中的问题均为基于观点的商业搜索引擎查询，所需段落由众包人员从检索到的文档中提取支持片段所得，随后众包工作人员将给出抽象化的是/否/不确定三类答案。本次发布的ReCO共包含30万个问题，据我们所知，这是目前中文阅读理解领域规模最大的同类数据集。 ReCO的显著特色在于，除提供原始上下文段落外，还附带可直接用于作答的支持性证据片段。质量分析显示，ReCO的挑战性体现在其要求模型具备多种推理能力，例如因果推理、逻辑推理等。当前诸多问答模型在各类问答任务中表现优异，例如BERT（Devlin等人，2018）在本数据集上的准确率仅为77%，远低于人类近92%的表现，这表明ReCO对机器阅读理解模型构成了颇具难度的挑战。 ## 引文 @inproceedings{wang2020reco, title={Reco: A large scale Chinese reading comprehension dataset on opinion}, author={Wang, Bingning and Yao, Ting and Zhang, Qi and Xu, Jingfang and Wang, Xiaochuan}, booktitle={Proceedings of the AAAI Conference on Artificial Intelligence}, volume={34}, number={05}, pages={9146--9153}, year={2020} } ## 下载数据集 :modelscope-code[]{type="git"}

搜集汇总

背景与挑战

背景概述

ReCO是一个大规模中文阅读理解数据集，专注于观点类问题，包含30万个来自搜索引擎的查询，并通过众包提供支持性证据和是/否/不确定答案。该数据集需要多种推理能力，当前模型准确率仅为77%，显著低于人类92%的表现，对机器阅读理解构成挑战。