facebook/imppres

IMPPRES数据集是一个用于自然语言推理（NLI）任务的数据集，包含了超过25,000个半自动生成的句子对，展示了多种语用推理类型。数据集分为两个主要配置：隐含（implicature）和预设（presupposition），每个配置下又包含多个子数据集。数据集的生成基于模板，确保了句子的语法正确性。数据集的主要任务是对句子对进行推理，判断它们之间的关系（如蕴含、中立、矛盾）。

The IMPPRES dataset is a benchmark dataset for natural language inference (NLI) tasks, encompassing over 25,000 semi-automatically generated sentence pairs that cover a wide range of pragmatic inference types. It is divided into two main configurations: implicature and presupposition, with each configuration hosting multiple sub-datasets. The dataset is constructed via template-based generation, which ensures the grammatical accuracy of the included sentences. The core task of this dataset is to conduct inference on sentence pairs and classify their relational types, including entailment, neutrality, and contradiction.

原始信息汇总

数据集概述

基本信息

• 数据集名称: IMPPRES
• 语言: 英语
• 许可证: CC BY-NC 4.0
• 数据集大小: 1K<n<10K
• 任务类型: 文本分类
• 任务ID: 自然语言推理

数据集结构

配置

数据集包含两种配置：implicature（暗示）和presupposition（预设）。

Implicature 配置

• implicature_connectives
• implicature_gradable_adjective
• implicature_gradable_verb
• implicature_modals
• implicature_numerals_10_100
• implicature_numerals_2_3
• implicature_quantifiers

Presupposition 配置

• presupposition_all_n_presupposition
• presupposition_both_presupposition
• presupposition_change_of_state
• presupposition_cleft_existence
• presupposition_cleft_uniqueness
• presupposition_only_presupposition
• presupposition_possessed_definites_existence
• presupposition_possessed_definites_uniqueness
• presupposition_question_presupposition

特征

每个配置包含以下特征：

• premise: 前提，类型为字符串。
• hypothesis: 假设，类型为字符串。
• gold_label_log: 逻辑标签，类型为分类标签，包含三个类别：entailment（蕴含）、neutral（中性）、contradiction（矛盾）。
• gold_label_prag: 语用标签，类型为分类标签，包含三个类别：entailment（蕴含）、neutral（中性）、contradiction（矛盾）。
• spec_relation: 特定关系，类型为字符串。
• item_type: 项目类型，类型为字符串。
• trigger: 触发词，类型为字符串。
• lexemes: 词素，类型为字符串。

分割

每个配置包含一个分割，例如：

• connectives: 1200个样本，221844字节
• gradable_adjective: 1200个样本，153648字节
• gradable_verb: 1200个样本，180678字节
• modals: 1200个样本，178536字节
• numerals_10_100: 1200个样本，208596字节
• numerals_2_3: 1200个样本，188760字节
• quantifiers: 1200个样本，176790字节
• all_n_presupposition: 1900个样本，458460字节
• both_presupposition: 1900个样本，432760字节
• change_of_state: 1900个样本，308595字节
• cleft_existence: 1900个样本，363206字节
• cleft_uniqueness: 1900个样本，388747字节
• only_presupposition: 1900个样本，348986字节
• possessed_definites_existence: 1900个样本，362302字节
• possessed_definites_uniqueness: 1900个样本，459371字节
• question_presupposition: 1900个样本，397195字节

数据集创建

• 数据来源: 原始数据
• 标注创建者: 机器生成
• 语言创建者: 机器生成