steffigeorge/labelled_datasets

---
dataset_info:
features:
- name: id
dtype: string
- name: doc_type
dtype: string
- name: publish_year
dtype: int64
- name: lang_fasttext
dtype: string
- name: lang_fasttext_conf
dtype: string
- name: text
dtype: string
- name: quality
dtype: string
splits:
- name: train
num_bytes: 29653389809
num_examples: 7344183
- name: validation
num_bytes: 663699139
num_examples: 166872
download_size: 17312795699
dataset_size: 30317088948
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

原始信息汇总

数据集概述

数据集特征

• id: 字符串类型
• doc_type: 字符串类型
• publish_year: 整数类型
• lang_fasttext: 字符串类型
• lang_fasttext_conf: 字符串类型
• text: 字符串类型
• quality: 字符串类型

数据集划分

• 训练集:
  • 示例数量: 7344183
  • 数据大小: 29653389809 字节
• 验证集:
  • 示例数量: 166872
  • 数据大小: 663699139 字节

数据集大小

• 下载大小: 17312795699 字节
• 总数据集大小: 30317088948 字节

配置文件

• 默认配置:
  • 训练数据路径: data/train-*
  • 验证数据路径: data/validation-*