domenicrosati/clinical_trial_texts

这些是从ClinicalTrials.gov于2022年12月3日下载的临床试验文本。总共有434,977个试验和2,184,397,556个标记。这些标记来自HuggingFace的默认BERT标记器。该数据集可用于临床试验和生物医学领域的预训练。

原始信息汇总

数据集概述

数据集名称

• 名称: clinical_trial_texts

数据集特征

• 特征列表:
  • text: 数据类型为字符串。
  • trial_id: 数据类型为字符串。
  • input_ids: 数据类型为整数序列，类型为int32。
  • token_type_ids: 数据类型为整数序列，类型为int8。
  • attention_mask: 数据类型为整数序列，类型为int8。

数据集划分

• 训练集:
  • 样本数量: 434977
  • 存储大小: 22784316806字节

数据集大小

• 下载大小: 5376659326字节
• 数据集总大小: 22784316806字节

数据集用途

• 主要用途: 用于临床试验和生物医学领域的预训练。

数据集来源

• 数据来源: 从https://ClinicalTrials.gov/AllAPIJSON.zip下载，日期为2022年12月3日。

数据集统计

• 总试验数: 434977
• 总令牌数: 2,184,397,556 (2.1bn tokens)

数据处理

• 令牌处理: 使用Hugging Face默认的BERT tokenizer处理。