timpal0l/trafilatura-extracted-subset

---
dataset_info:
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 55751845968.0
num_examples: 5440266
- name: test
num_bytes: 6194659800.0
num_examples: 604475
download_size: 23930738929
dataset_size: 61946505768.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

原始信息汇总

数据集概述

数据集特征

• input_ids: 整数序列，类型为int32。
• attention_mask: 整数序列，类型为int8。

数据集分割

• 训练集 (train):
  • 字节数: 55751845968.0
  • 样本数: 5440266
• 测试集 (test):
  • 字节数: 6194659800.0
  • 样本数: 604475

数据集大小

• 下载大小: 23930738929 字节
• 总大小: 61946505768.0 字节

配置

• 配置名称: default
  • 数据文件路径:
    • 训练集: data/train-*
    • 测试集: data/test-*