leoli04/leo_pubmed_dataset

---
dataset_info:
features:
- name: meta
struct:
- name: pmid
dtype: int64
- name: language
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 20978892555
num_examples: 15518009
download_size: 11464439798
dataset_size: 20978892555
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 字段名：meta（元数据），结构如下：
- 字段名：pmid（PubMed标识符），数据类型：int64（64位整型）
- 字段名：language（语言），数据类型：string（字符串型）
- 字段名：text（文本），数据类型：string（字符串型）
数据集划分：
- 划分名称：train（训练集），字节占用量：20978892555，样本数量：15518009
下载大小：11464439798 字节
数据集存储大小：20978892555 字节
配置项：
- 配置名称：default（默认配置）
数据文件：
- 针对train（训练集）划分，文件路径为 data/train-*

原始信息汇总

数据集概述

数据集特征

• meta
  • pmid: 数据类型为整数（int64）
  • language: 数据类型为字符串（string）
• text: 数据类型为字符串（string）

数据集分割

• 训练集（train）
  • 数据量: 15518009个样本
  • 存储大小: 20978892555字节

数据集大小

• 下载大小: 11464439798字节
• 总大小: 20978892555字节

配置信息

• 默认配置（default）
  • 数据文件路径: data/train-*