AKM15/arxiv_chunk

---
language:
- en
dataset_info:
features:
- name: id
dtype: string
- name: paper_id
dtype: string
- name: text
dtype: string
- name: metadata
struct:
- name: authors
sequence: string
- name: categories
sequence: string
- name: primary_category
dtype: string
- name: published
dtype: string
- name: title
dtype: string
splits:
- name: train
num_bytes: 3211839268
num_examples: 3970386
download_size: 1025658407
dataset_size: 3211839268
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

---
语言：
- 英语
数据集信息：
特征：
- 名称：id
数据类型：字符串
- 名称：论文ID（paper_id）
数据类型：字符串
- 名称：文本（text）
数据类型：字符串
- 名称：元数据（metadata）
结构体：
- 名称：作者（authors）
序列：字符串序列
- 名称：分类（categories）
序列：字符串序列
- 名称：主分类（primary_category）
数据类型：字符串
- 名称：发表时间（published）
数据类型：字符串
- 名称：标题（title）
数据类型：字符串
数据集划分：
- 名称：训练集
占用字节数：3211839268
样本总量：3970386
下载大小：1025658407
数据集总大小：3211839268
配置项：
- 配置名称：默认配置
数据文件：
- 划分：训练集
路径：data/train-*
---

原始信息汇总

数据集概述

数据集信息

特征

• id: 数据类型为字符串。
• paper_id: 数据类型为字符串。
• text: 数据类型为字符串。
• metadata: 结构化数据，包含以下字段：
  • authors: 序列类型，数据类型为字符串。
  • categories: 序列类型，数据类型为字符串。
  • primary_category: 数据类型为字符串。
  • published: 数据类型为字符串。
  • title: 数据类型为字符串。

数据分割

• train: 包含3,970,386个样本，占用3,211,839,268字节。

数据大小

• 下载大小: 1,025,658,407字节。
• 数据集大小: 3,211,839,268字节。

配置

• default: 包含训练数据文件，路径为data/train-*。