zzzzhhh/test_data

SuperGLUE是一个新的基准测试，模仿GLUE，包含一组更困难的语言理解任务，改进了资源，并有一个新的公共排行榜。BoolQ（布尔问题，Clark等人，2019a）是一个问答任务，每个例子由一个简短的段落和一个关于段落的yes/no问题组成。问题是由Google搜索引擎用户匿名且未经请求提供的，随后与包含答案的维基百科文章段落配对。我们按照原始工作，使用准确性进行评估。

原始信息汇总

数据集概述

基本信息

• 名称: SuperGLUE
• 语言: 英语（en）
• 许可证: 未知
• 多语言性: 单语
• 大小: 10K<n<100K
• 来源: 扩展自其他数据集
• 任务类别: 文本分类、令牌分类、问答
• 任务ID: 自然语言推理、词义消歧、共指消解、抽取式问答
• 标签: superglue, NLU, 自然语言理解

数据集配置

1. boolq

   • 特征:
     • question: 字符串
     • passage: 字符串
     • idx: 整数32位
     • label: 分类标签（0: False, 1: True）
   • 分割:
     • 训练: 9427个样本
     • 验证: 3270个样本
     • 测试: 3245个样本
   • 数据集大小: 10405708字节

2. cb

   • 特征:
     • premise: 字符串
     • hypothesis: 字符串
     • idx: 整数32位
     • label: 分类标签（0: entailment, 1: contradiction, 2: neutral）
   • 分割:
     • 训练: 250个样本
     • 验证: 56个样本
     • 测试: 250个样本
   • 数据集大小: 202772字节

3. copa

   • 特征:
     • premise: 字符串
     • choice1: 字符串
     • choice2: 字符串
     • question: 字符串
     • idx: 整数32位
     • label: 分类标签（0: choice1, 1: choice2）
   • 分割:
     • 训练: 400个样本
     • 验证: 100个样本
     • 测试: 500个样本
   • 数据集大小: 122488字节

4. multirc

   • 特征:
     • paragraph: 字符串
     • question: 字符串
     • answer: 字符串
     • idx: 结构化（paragraph, question, answer均为整数32位）
     • label: 分类标签（0: False, 1: True）
   • 分割:
     • 训练: 27243个样本
     • 验证: 4848个样本
     • 测试: 9693个样本
   • 数据集大小: 68968948字节

5. record

   • 特征:
     • passage: 字符串
     • query: 字符串
     • entities: 字符串序列
     • entity_spans: 结构化（text: 字符串, start: 整数32位, end: 整数32位）
     • answers: 字符串序列
     • idx: 结构化（passage, query均为整数32位）
   • 分割:
     • 训练: 100730个样本
     • 验证: 10000个样本
     • 测试: 10000个样本
   • 数据集大小: 213911711字节

6. rte

   • 特征:
     • premise: 字符串
     • hypothesis: 字符串
     • idx: 整数32位
     • label: 分类标签（0: entailment, 1: not_entailment）
   • 分割:
     • 训练: 2490个样本
     • 验证: 277个样本
     • 测试: 3000个样本
   • 数据集大小: 1915443字节

7. wic

   • 特征:
     • word: 字符串
     • sentence1: 字符串
     • sentence2: 字符串
     • start1: 整数32位
     • start2: 整数32位
     • end1: 整数32位
     • end2: 整数32位
     • idx: 整数32位
     • label: 分类标签（0: False, 1: True）
   • 分割:
     • 训练: 5428个样本
     • 验证: 638个样本
     • 测试: 1400个样本
   • 数据集大小: 928399字节

8. wsc

   • 特征:
     • text: 字符串
     • span1_index: 整数32位
     • span2_index: 整数32位
     • span1_text: 字符串
     • span2_text: 字符串
     • idx: 整数32位
     • label: 分类标签（0: False, 1: True）
   • 分割:
     • 训练: 554个样本
     • 验证: 104个样本
     • 测试: 146个样本
   • 数据集大小: 143092字节

9. wsc.fixed

   • 特征:
     • text: 字符串
     • span1_index: 整数32位
     • span2_index: 整数32位
     • span1_text: 字符串
     • span2_text: 字符串
     • idx: 整数32位
     • label: 分类标签（0: False, 1: True）
   • 分割:
     • 训练: 554个样本
     • 验证: 104个样本
     • 测试: 146个样本
   • 数据集大小: 143088字节

10. axb

    • 特征:
      • sentence1: 字符串
      • sentence2: 字符串
      • idx: 整数32位
      • label: 分类标签（0: entailment, 1: not_entailment）
    • 分割:
      • 测试: 1104个样本
    • 数据集大小: 238392字节

11. axg

    • 特征:
      • premise: 字符串
      • hypothesis: 字符串
      • idx: 整数32位
      • label: 分类标签（0: entailment, 1: not_entailment）
    • 分割:
      • 测试: 356个样本
    • 数据集大小: 53581字节