567-labs/cleaned-quora-dataset-train-test-split

这是一个经过清理的Quora数据集版本，配置了训练集、测试集和验证集的分割。训练集用于模型训练，测试集用于运行实验和比较不同的开源模型和闭源模型，验证集仅在最后阶段使用。

原始信息汇总

数据集概述

数据集信息

• 特征:

  • questions:
    • id: 整数序列
    • text: 字符串序列
  • is_duplicate: 布尔类型

• 拆分:

  • train:
    • 字节数: 39231843
    • 样本数: 261317
  • test:
    • 字节数: 7005599
    • 样本数: 44635
  • val:
    • 字节数: 6704734
    • 样本数: 42232

• 下载大小: 31031925 字节

• 数据集大小: 52942176 字节

配置

• 默认配置:
  • data_files:
    • train: data/train-*
    • test: data/test-*
    • val: data/val-*