cl-nagoya/min-wikisplit-pp

MinWikiSplit++数据集是MinWikiSplit的HuggingFace版本，通过应用NLI分类和句子顺序反转技术，减少了原始MinWikiSplit中的噪声和幻觉。该数据集包含复杂句子、反转顺序的简单句子、分词后的简单句子、原始顺序的简单句子以及每个简单句子被分类为蕴含的概率。数据集分为训练集、验证集和测试集，适用于文本到文本生成任务。

原始信息汇总

数据集概述

数据集名称

• 名称: MinWikiSplit++

数据集特征

• 特征列表:
  • id: 整数类型 (int64)
  • complex: 字符串类型 (string)
  • simple_reversed: 字符串类型 (string)
  • simple_tokenized: 序列字符串类型 (sequence: string)
  • simple_original: 字符串类型 (string)
  • entailment_prob: 浮点数类型 (float64)

数据集划分

• 训练集:
  • 数据量: 139241 条记录
  • 大小: 115032683 字节
• 验证集:
  • 数据量: 17424 条记录
  • 大小: 14334442 字节
• 测试集:
  • 数据量: 17412 条记录
  • 大小: 14285722 字节

数据集大小

• 下载大小: 91848881 字节
• 数据集总大小: 143652847 字节

配置

• 默认配置:
  • 训练数据路径: data/train-*
  • 验证数据路径: data/validation-*
  • 测试数据路径: data/test-*

许可证

• 许可证类型: CC-BY-SA-4.0

任务类别

• 任务类别: 文本到文本生成 (text2text-generation)

语言

• 语言: 英语 (en)

数据集详细描述

• 数据字段:
  • id: 数据ID，与现有MinWikiSplit不兼容
  • complex: 复杂句子
  • simple_reversed: 顺序反转的简单句子
  • simple_tokenized: 使用PySBD分割的简单句子列表，顺序未反转
  • simple_original: 原始顺序的简单句子
  • entailment_prob: 每个简单句子被分类为复杂句子依据的平均概率，使用DeBERTa-xxl进行NLI分类