ZEST

ZEST 测试 NLP 系统是否可以在给定任务的自然语言描述的情况下以零样本方式执行看不见的任务。它是我们提出的“从任务描述中学习”框架的一个实例。任务包括分类、类型实体提取和关系提取，每个任务都与 20 个不同的带注释（输入、输出）示例配对。 ZEST 的结构使我们能够系统地测试模型是否可以以五种不同的方式进行泛化。