GLUE基线测试数据集

GLUE并非从头创建新数据，而是精选了9项已有的、具有挑战性的语言理解任务构建而成。这些任务覆盖了语法可接受性判断（CoLA）、情感分析（SST-2）、语义等价识别（MRPC, QQP）、文本蕴含识别（RTE, MNLI）和指代消解（WNLI）等多个核心语言学维度，迫使模型处理从单个句子到句子对间复杂逻辑关系的多类问题。GLUE的意义在于其强大的评估体系。它提供了一个公开的排行榜和诊断工具集，将模型的表现量化为一个可比较的单一分数。特别地，测试集的真实标签并不公开，研究者需提交模型进行“盲测”，有效防止了针对测试集的过拟合，确保了评估的公正性和挑战性。在体量方面，GLUE数据集的总大小约为570.69MB。衍生数据为项目基于GLUE原始数据进行的数据处理、评估方式、方法结果、衍生结论。