semaj83/ctmatch_ir

CTMatch信息检索数据集包含经过预处理的临床试验文档，这些文档通过`ctproc`工具进行了清理和有用字段的提取。数据集包含四个文本文件：`doc_texts.txt`、`doc_categories.txt`、`doc_embeddings.txt`和`index2docid.txt`。`doc_texts.txt`包含从文档中提取的文本，`doc_categories.txt`包含由零样本分类模型生成的主题概率向量，`doc_embeddings.txt`包含文档的嵌入向量，`index2docid.txt`包含索引到文档ID的映射。

原始信息汇总

CTMatch信息检索数据集概述

数据集内容

• 文档处理: 数据集包含经过ctproc预处理的临床试验文档，专注于清理和提取有用的字段。
• 文件类型: 当前以文本文件格式存储，未来可能转换为.csv格式。

文件详情

1. doc_texts.txt

   • 包含从文档中提取的文本，仅限于资格标准字段。每个文件有374648行数据。
   • 示例文本: "Inclusion Criteria: diagnosed with Congenital Adrenal Hyperplasia (CAH) normal ECG during baseline evaluation, Exclusion Criteria: history of liver disease, or elevated liver function tests history of cardiovascular disease"

2. doc_categories.txt

   • 包含1x14的概率向量，代表由facebook/bart-large-mnli模型生成的主题概率。
   • 主题包括: cancer, cardiac, endocrine, gastrointestinal, genetic, healthy, infection, neurological, other, pediatric, psychological, pulmonary, renal, reproductive。

3. doc_embeddings.txt

   • 包含1x384的向量，这些向量是从sentence-transformers/all-MiniLM-L6-v2模型的最后一个隐藏状态提取的文档文本嵌入。

4. index2docid.txt

   • 提供索引到NCTID的简单映射，用于信息检索程序中的过滤和参考。

许可证

• 数据集遵循MIT许可证。