RussianNLP/russian_super_glue

Russian SuperGLUE数据集是一个用于评估和比较现代语言模型（如BERT、ELMo、XLNet和RoBERTa）在俄语语言理解任务上的表现的数据集。该数据集包含多个配置（如lidirus、rcb、parus），每个配置针对不同的任务，如文本分类、问答和零样本分类。数据集是单语言的（俄语），并包含众包和专家生成的注释。README文件还提供了每个配置的数据实例示例，展示了数据的格式和内容。

原始信息汇总

数据集概述

基本信息

• 名称: Russian SuperGLUE
• 语言: 俄语 (ru-RU)
• 许可证: MIT
• 多语言性: 单语种

数据集大小

• 类别:
  • 100K<n<1M
  • 1M<n<10M
  • 10M<n<100M
  • 100M<n<1B

数据集创建

• 注释创建者: 众包、专家生成
• 语言创建者: 众包、专家生成
• 源数据: 原始数据

任务类别

• 文本分类
• 问答
• 零样本分类
• 文本生成

具体任务

• 自然语言推理
• 多类分类

数据集结构

配置及特征

LiDiRus

• 特征:
  • sentence1: 字符串
  • sentence2: 字符串
  • knowledge: 字符串
  • lexical-semantics: 字符串
  • logic: 字符串
  • predicate-argument-structure: 字符串
  • idx: int32
  • label: 分类标签（entailment, not_entailment）
• 分割:
  • test: 1104个样本，470306字节

RCB

• 特征:
  • premise: 字符串
  • hypothesis: 字符串
  • verb: 字符串
  • negation: 字符串
  • idx: int32
  • label: 分类标签（entailment, contradiction, neutral）
• 分割:
  • train: 438个样本，199712字节
  • validation: 220个样本，97993字节
  • test: 438个样本，207031字节

PARus

• 特征:
  • premise: 字符串
  • choice1: 字符串
  • choice2: 字符串
  • question: 字符串
  • idx: int32
  • label: 分类标签（choice1, choice2）
• 分割:
  • train: 400个样本，74467字节
  • validation: 100个样本，19397字节
  • test: 500个样本，93192字节

MuSeRC

• 特征:
  • paragraph: 字符串
  • question: 字符串
  • answer: 字符串
  • idx: 结构化（paragraph, question, answer 均为 int32）
  • label: 分类标签（False, True）
• 分割:
  • train: 11950个样本，31651155字节
  • validation: 2235个样本，5964157字节
  • test: 7614个样本，19850930字节

TERRa

• 特征:
  • premise: 字符串
  • hypothesis: 字符串
  • idx: int32
  • label: 分类标签（entailment, not_entailment）
• 分割:
  • train: 2616个样本，1409243字节
  • validation: 307个样本，161485字节
  • test: 3198个样本，1713499字节

RUSSE

• 特征:
  • word: 字符串
  • sentence1: 字符串
  • sentence2: 字符串
  • start1: int32
  • start2: int32
  • end1: int32
  • end2: int32
  • gold_sense1: int32
  • gold_sense2: int32
  • idx: int32
  • label: 分类标签（False, True）
• 分割:
  • train: 19845个样本，6913280字节
  • validation: 8505个样本，2957491字节
  • test: 18892个样本，10046000字节

RWSD

• 特征:
  • text: 字符串
  • span1_index: int32
  • span2_index: int32
  • span1_text: 字符串
  • span2_text: 字符串
  • idx: int32
  • label: 分类标签（False, True）
• 分割:
  • train: 606个样本，132274字节
  • validation: 204个样本，87959字节
  • test: 154个样本，59051字节

DanetQA

• 特征:
  • question: 字符串
  • passage: 字符串
  • idx: int32
  • label: 分类标签（False, True）
• 分割:
  • train: 1749个样本，2474006字节
  • validation: 821个样本，1076455字节
  • test: 805个样本，1023062字节

RuCoS

• 特征:
  • passage: 字符串
  • query: 字符串
  • entities: 序列（字符串）
  • answers: 序列（字符串）
  • idx: 结构化（passage, query 均为 int32）
• 分割:
  • train: 72193个样本，160095378字节
  • validation: 7577个样本，16980563字节
  • test: 7257个样本，15535209字节