sileod/discovery

Discovery数据集是一个用于话语标记预测的文本分类数据集，包含174个不同的话语标记。数据集的语言为英语，且为单语数据集。数据集的大小在10K到100K之间，且包含1M到10M之间的数据量。数据集的结构包括训练集、验证集和测试集，每个集合都包含两个句子（sentence1和sentence2）和一个标签（label），标签表示两个句子之间的话语标记。数据集的创建基于Aranea英语网络语料库，并且是自监督的。

The Discovery dataset is a text classification dataset for discourse marker prediction, containing 174 different discourse markers. The dataset is in English and is monolingual. The size of the dataset ranges between 10K and 100K, and it includes between 1M and 10M data points. The dataset structure includes training, validation, and test sets, each containing two sentences (sentence1 and sentence2) and a label (label), where the label represents the discourse marker between the two sentences. The dataset was created based on the Aranea English web corpus and is self-supervised.

原始信息汇总

数据集概述

数据集基本信息

• 名称: Discovery
• 语言: 英语 (en)
• 许可证: Apache-2.0
• 多语言性: 单语种 (monolingual)
• 大小:
  • 小型: 10K<n<100K
  • 中型: 1M<n<10M

数据集结构

配置

• 配置名称: discovery
• 特征:
  • sentence1: 数据类型 - 字符串
  • sentence2: 数据类型 - 字符串
  • label: 数据类型 - 分类标签，包含174种不同的标记
  • idx: 数据类型 - int32
• 分割:
  • 训练集: 1566000个样本，334809726字节
  • 验证集: 87000个样本，18607661字节
  • 测试集: 87000个样本，18615474字节
• 下载大小: 146233621字节
• 数据集大小: 372032861字节

小型配置

• 配置名称: discoverysmall
• 特征: 同上
• 分割:
  • 训练集: 15662个样本，3355192字节
  • 验证集: 871个样本，185296字节
  • 测试集: 869个样本，187471字节
• 数据集大小: 3727959字节

任务信息

• 任务类别: 文本分类 (text-classification)
• 任务ID: 多类分类 (multi-class-classification)
• 训练/评估索引:
  • 配置: discovery, discoverysmall
  • 训练分割: train
  • 评估分割: validation
  • 列映射:
    • sentence1: text1
    • sentence2: text2
    • label: target

数据集来源

• 源数据: 原始数据 (original)