Natural Instructions

Natural-Instructions 项目的目标是为衡量对看不见的任务的泛化提供一个良好的质量基准。这种概括取决于（并受益于）对自然语言指令的理解和推理，这些指令清楚而完整地描述了一项任务（传统上定义为将输入字符串映射到输出字符串）。配备“理解”语言说明的模型应该成功解决任何看不见的任务，如果提供了任务说明的话。
我们已经建立了两个数据集来研究这个目标。我们的 v1.x 数据集利用了现有 NLP 数据集的众包模板。该数据集由 61 个任务组成。 v2.x 数据集建立在早期工作的基础上，具有更简单的模式并包含超过 1.5k 个任务。我们在许多慷慨的社区贡献者的帮助下收集了这些说明。