tasksource/PLANE-ood

PLANE（短语级形容词-名词蕴含）是一个用于测试模型在细粒度组合推理上表现的基准数据集。当前数据集包含五个采样分割，用于监督实验。每个样本包含六个特征：seq（测试序列）、label（真实标签）、Adj_Class（形容词类别）、Adj（形容词）、Nn（名词）和Hy（名词的上位词）。每个样本的seq可以采取三种形式之一：形容词-名词是名词、形容词-名词是上位词（名词）、形容词-名词是形容词-上位词（名词）。真实标签根据形容词类别和推理类型之间的语言学规则自动分配。PLANE（短语级形容词-名词蕴含）是一个用于测试模型在细粒度组合推理上表现的基准数据集。当前数据集包含五个采样分割，用于监督实验。每个样本包含六个特征：seq（测试序列）、label（真实标签）、Adj_Class（形容词类别）、Adj（形容词）、Nn（名词）和Hy（名词的上位词）。每个样本的seq可以采取三种形式之一：形容词-名词是名词、形容词-名词是上位词（名词）、形容词-名词是形容词-上位词（名词）。真实标签根据形容词类别和推理类型之间的语言学规则自动分配。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-2.0
• 任务类别: 文本分类
• 语言: 英语
• 数据集大小: 100K<n<1M

数据集结构

• 特征:

  • seq: 字符串类型，测试序列
  • label: 字符串类型，标签（1: 蕴含，0: 非蕴含）
  • Adj_Class: 字符串类型，序列形容词的类别
  • Adj: 字符串类型，形容词（I: 内含的，S: 次类的，O: 意向的）
  • Nn: 字符串类型，名词
  • Hy: 字符串类型，名词的超类

• 分割:

  • train: 300132个样本，26047744字节
  • test: 10080个样本，874524字节

• 下载大小: 4721262字节

• 数据集大小: 26922268字节

数据集用途

PLANE (phrase-level adjective-noun entailment) 是一个基准测试，用于测试模型在细粒度组合推理上的表现。该数据集包含五个采样分割，用于Bertolini et al., 22中的监督实验。

引用信息

若使用PLANE数据集，请引用COLING 2022的主要论文：

@inproceedings{bertolini-etal-2022-testing, title = "Testing Large Language Models on Compositionality and Inference with Phrase-Level Adjective-Noun Entailment", author = "Bertolini, Lorenzo and Weeds, Julie and Weir, David", booktitle = "Proceedings of the 29th International Conference on Computational Linguistics", month = oct, year = "2022", address = "Gyeongju, Republic of Korea", publisher = "International Committee on Computational Linguistics", url = "https://aclanthology.org/2022.coling-1.359", pages = "4084--4100", }