evaluate/glue-ci

GLUE（通用语言理解评估基准）是一个用于训练、评估和分析自然语言理解系统的资源集合。它包含多个任务，如文本分类、自然语言推理和语义相似性评分。数据集是单语言的（英语），并包含不同任务的各种配置。GLUE基准的排行榜可以在[此地址](https://gluebenchmark.com/)找到。数据集的结构包括数据实例、数据字段和数据分割，每个任务都有详细的示例和描述。

原始信息汇总

数据集概述

数据集名称: GLUE (General Language Understanding Evaluation benchmark)

语言: 英语 (en)

许可证: cc-by-4.0

多语言性: 单语

大小类别: 10K<n<100K

源数据集: 原始数据

任务类别: 文本分类

任务ID:

• acceptability-classification
• natural-language-inference
• semantic-similarity-scoring
• sentiment-classification
• text-classification-other-coreference-nli
• text-classification-other-paraphrase-identification
• text-classification-other-qa-nli
• text-scoring

数据集结构

训练与评估索引

• config: cola

  • 任务: 文本分类
  • 任务ID: binary_classification
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • sentence: text
    • label: target

• config: sst2

  • 任务: 文本分类
  • 任务ID: binary_classification
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • sentence: text
    • label: target

• config: mrpc

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • sentence1: text1
    • sentence2: text2
    • label: target

• config: qqp

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • question1: text1
    • question2: text2
    • label: target

• config: stsb

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • sentence1: text1
    • sentence2: text2
    • label: target

• config: mnli

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation_matched
  • 列映射:
    • premise: text1
    • hypothesis: text2
    • label: target

• config: mnli_mismatched

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • premise: text1
    • hypothesis: text2
    • label: target

• config: mnli_matched

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • premise: text1
    • hypothesis: text2
    • label: target

• config: qnli

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • question: text1
    • sentence: text2
    • label: target

• config: rte

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • sentence1: text1
    • sentence2: text2
    • label: target

• config: wnli

  • 任务: 文本分类
  • 任务ID: natural_language_inference
  • 数据分割:
    • 训练分割: train
    • 评估分割: validation
  • 列映射:
    • sentence1: text1
    • sentence2: text2
    • label: target

数据集配置

• ax
• cola
• mnli
• mnli_matched
• mnli_mismatched
• mrpc
• qnli
• qqp
• rte
• sst2
• stsb
• wnli