AKM15/arxiv_chunk

---
language:
- en
dataset_info:
features:
- name: id
dtype: string
- name: paper_id
dtype: string
- name: text
dtype: string
- name: metadata
struct:
- name: authors
sequence: string
- name: categories
sequence: string
- name: primary_category
dtype: string
- name: published
dtype: string
- name: title
dtype: string
splits:
- name: train
num_bytes: 3211839268
num_examples: 3970386
download_size: 1025658407
dataset_size: 3211839268
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

数据集信息

特征

• id: 数据类型为字符串。
• paper_id: 数据类型为字符串。
• text: 数据类型为字符串。
• metadata: 结构化数据，包含以下字段：
  • authors: 序列类型，数据类型为字符串。
  • categories: 序列类型，数据类型为字符串。
  • primary_category: 数据类型为字符串。
  • published: 数据类型为字符串。
  • title: 数据类型为字符串。

数据分割

• train: 包含3,970,386个样本，占用3,211,839,268字节。

数据大小

• 下载大小: 1,025,658,407字节。
• 数据集大小: 3,211,839,268字节。

配置

• default: 包含训练数据文件，路径为data/train-*。