super_glue

SuperGLUE旨在提供一个更具挑战性的语言理解评测基准，它包含一系列难度更高的自然语言理解任务，并提供改进的资源和一个公开的排行榜。该评测集包含多种配置，例如boolq、cb、copa、multirc、record、rte、wic、wsc、axb和axg，涵盖了文本分类、token分类和问答等任务，具体任务包括自然语言推断、词义消歧和共指消解等。SuperGLUE的数据集规模从10K到100K不等，主要使用英语，并基于已有的数据集构建和衍生而来。用户在使用SuperGLUE时，需要引用所有使用到的数据集，并且鼓励引用SuperGLUE本身。