ZEST

ZEST 测试 NLP 系统是否可以在给定任务的自然语言描述的情况下以零样本方式执行看不见的任务。它是我们提出的“从任务描述中学习”框架的一个实例。任务包括分类、类型实体提取和关系提取，每个任务都与 20 个不同的带注释（输入、输出）示例配对。 ZEST 的结构使我们能够系统地测试模型是否可以以五种不同的方式进行泛化。

ZEST tests whether an NLP system can perform unseen tasks in a zero-shot manner given the natural language descriptions of the tasks. It is an instance of our proposed "Learning from Task Descriptions" framework. The tasks include classification, typed entity extraction, and relation extraction, each paired with 20 distinct annotated (input, output) examples. The structure of ZEST enables us to systematically test whether models can generalize in five distinct ways.

搜集汇总

背景与挑战

背景概述

ZEST 是一个用于评估NLP系统能否根据自然语言任务描述以零样本方式泛化到新任务的数据集，涵盖分类、实体提取和关系提取任务，每个任务提供20个标注示例。该数据集由艾伦人工智能研究所于2020年发布，旨在测试模型在五种不同泛化方式下的性能。