SuperGLUE

SuperGLUE 是一个基准数据集，旨在对语言理解进行比 GLUE 更严格的测试。 SuperGLUE 与 GLUE 具有相同的高级动机：提供一个简单的、难以玩游戏的方法来衡量英语通用语言理解技术的进展情况。 SuperGLUE 遵循 GLUE 的基本设计：它由一个围绕八种语言理解任务构建的公共排行榜、利用现有数据、伴随着一个单一的数字性能指标和一个分析工具包组成。但是，它在以下几个方面对 GLUE 进行了改进： 更具挑战性的任务：SuperGLUE 保留了 GLUE 中最难的两个任务。剩余的任务是从那些提交给公开征集任务提案的任务中确定的，并根据当前 NLP 方法的难度进行选择。更多样化的任务格式：GLUE 中的任务格式仅限于句子和句子对分类。作者扩展了 SuperGLUE 中的任务格式集，包括共指解析和问答 (QA)。全面的人类基线：作者包括所有基准任务的人类绩效估计，这验证了强大的基于 BERT 的基线和人类绩效之间存在很大的空间。改进的代码支持：SuperGLUE 附带一个新的模块化工具包，用于 NLP 中的预训练、多任务学习和迁移学习，围绕标准工具构建，包括 PyTorch (Paszke et al., 2017) 和 AllenNLP (Gardner et al., 2017)。 , 2017)。改进的使用规则：修改了 SuperGLUE 排行榜的收录条件，以确保公平竞争、信息丰富的排行榜以及对数据和任务创建者的完整信用分配。