lorenzoscottb/PLANE-ood

PLANE（短语级形容词-名词蕴含）是一个用于测试模型在细粒度组合推理上的基准数据集。当前数据集包含五个采样分割，每个分割包含约60K的训练集和2K的测试集。每个样本有六个特征：序列、标签、形容词类别、形容词、名词和名词的上位词。序列中的每个样本可以采取三种形式（或推理类型）：形容词-名词是名词、形容词-名词是上位词（名词）、形容词-名词是形容词-上位词（名词）。标签是基于形容词类别和推理类型之间的语言规则自动分配的。

原始信息汇总

PLANE Out-of-Distribution Sets

PLANE（phrase-level adjective-noun entailment）是一个用于测试模型在细粒度组合推理上的基准。当前数据集包含五个采样分组，用于Bertolini et al., 22的监督实验。

数据结构

数据集围绕五个Train/test_split#组织，每个包含大约60K的训练集和2K的测试集。

特征

每个条目包含6个特征：seq, label, Adj_Class, Adj, Nn, Hy

• seq：测试序列
• label：真实标签（1：蕴含，0：非蕴含）
• Adj_Class：序列形容词的类别
• Adj：序列的形容词（I：交集性，S：子集性，O：内涵性）
• Nn：名词
• Hy：名词的超类

seq中的每个样本可以是以下三种形式之一（或推理类型，在论文中）：

• Adjective-Noun 是一个 Noun（例如，A red car is a car）
• Adjective-Noun 是一个 Hypernym(Noun)（例如，A red car is a vehicle）
• Adjective-Noun 是一个 Adjective-Hypernym(Noun)（例如，A red car is a red vehicle）

请注意，如论文中所述，真实标签是基于每个形容词类别和推理类型之间的语言规则自动分配的。

训练模型

你可以在这里找到一个调优的BERT-base模型（使用第2个分组进行调优和验证）here。

引用

如果你使用PLANE进行工作，请引用主要的COLING 2022论文。