StivenLancheros/xwikis-augmented-processed

--- dataset_info: features: - name: text dtype: string - name: summary dtype: string - name: source_language dtype: string - name: target_language dtype: string - name: length dtype: int64 - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: labels sequence: int64 splits: - name: train num_bytes: 19711292439 num_examples: 1448676 - name: validation num_bytes: 504467120 num_examples: 53554 - name: test num_bytes: 312940355 num_examples: 32289 download_size: 0 dataset_size: 20528699914 --- # Dataset Card for "xwikis-augmented-processed" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

xwikis-augmented-processed

数据集特征

• text：字符串类型
• summary：字符串类型
• source_language：字符串类型
• target_language：字符串类型
• length：整数类型（int64）
• input_ids：序列类型，整数（int32）
• attention_mask：序列类型，整数（int8）
• labels：序列类型，整数（int64）

数据集分割

• 训练集（train）：
  • 样本数量：1448676
  • 数据大小：19711292439字节
• 验证集（validation）：
  • 样本数量：53554
  • 数据大小：504467120字节
• 测试集（test）：
  • 样本数量：32289
  • 数据大小：312940355字节

数据集大小

• 总数据大小：20528699914字节