Asutosh2003/arxiv_tokenized

--- dataset_info: features: - name: article dtype: string - name: abstract dtype: string - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: labels sequence: int64 splits: - name: train num_bytes: 9692577180 num_examples: 203037 - name: validation num_bytes: 296631062 num_examples: 6436 - name: test num_bytes: 297275288 num_examples: 6440 download_size: 4391426343 dataset_size: 10286483530 --- # Dataset Card for "arxiv_tokenized" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: arxiv_tokenized

数据结构

• 特征:
  • article: 字符串类型
  • abstract: 字符串类型
  • input_ids: 整数序列，类型为 int32
  • attention_mask: 整数序列，类型为 int8
  • labels: 整数序列，类型为 int64

数据分割

• 训练集:
  • 示例数量: 203037
  • 存储大小: 9692577180 字节
• 验证集:
  • 示例数量: 6436
  • 存储大小: 296631062 字节
• 测试集:
  • 示例数量: 6440
  • 存储大小: 297275288 字节

数据集大小

• 下载大小: 4391426343 字节
• 总存储大小: 10286483530 字节