ConTRoL: A Dataset For ConTextual Reasoning over Long texts

ConTRoL is a new dataset for ConTextual Reasoning over Long texts. Consisting of 8,325 expert-designed "context-hypothesis" pairs with gold labels "entailment/neutral/contradiciton", ConTRoL is a passage-level NLI dataset with a focus on complex contextual reasoning types such as logical reasoning. It is derived from competitive selection and recruitment test (verbal reasoning test) for police recruitment, with expert level quality. Compared with previous NLI benchmarks, the materials in ConTRoL are much more challenging, involving a range of reasoning types. This dataset is provided by researchers from Westlake University and Zhejiang University.
<br />
<br />
paper: https://arxiv.org/abs/2011.04864
<br />
github: https://github.com/csitfun/ConTRoL-dataset
<br />
<br />
Chinese: ConTRoL是一个深入考察上下文推理能力尤其是逻辑推理能力的自然语言推理数据集，共包含8325个专家设计的“Context-hypothesis”对及其标签“entailment/neutral/contradiction”。ConTRoL作为一个篇章级的自然语言推理数据集，考察复杂的上下文逻辑推理能力，来源于职业选拔考试中的能力倾向测试，具有很高的标注质量。本数据集由西湖大学、浙江大学的研究人员提供。
<br />
<br />
论文： https://arxiv.org/abs/2011.04864
<br />
代码： https://github.com/csitfun/ConTRoL-dataset

ConTRoL是一款面向长文本上下文推理的新型数据集。该数据集包含8325条专家设计的"上下文-假设"对，其金标准标签为蕴含（entailment）、中立（neutral）、矛盾（contradiction）。ConTRoL是一款篇章级自然语言推理（Natural Language Inference, NLI）数据集，聚焦逻辑推理等复杂上下文推理类型。该数据集源自警察招录的竞争性选拔招聘考试（语言推理测试），具备专家级标注质量。与此前的自然语言推理基准数据集相比，ConTRoL的语料更具挑战性，涵盖多种推理类型。本数据集由西湖大学与浙江大学的研究人员提供。<br /><br />paper：https://arxiv.org/abs/2011.04864<br />github：https://github.com/csitfun/ConTRoL-dataset

搜集汇总

背景与挑战

背景概述

ConTRoL是一个篇章级自然语言推理数据集，包含8,325个专家设计的'context-hypothesis'对，标签为'entailment/neutral/contradiction'，专注于复杂上下文推理如逻辑推理。该数据集来源于职业选拔考试，具有高质量标注，由西湖大学和浙江大学的研究人员提供。