YufeiHFUT/CDR_with_all_info

--- dataset_info: features: - name: prompt dtype: string - name: label dtype: string - name: revised_title dtype: string - name: revised_abstract dtype: string - name: head_chemical_entName dtype: string - name: head_entity_dict struct: - name: id dtype: string - name: normalized list: - name: db_id dtype: string - name: db_name dtype: string - name: offsets sequence: sequence: int64 - name: text sequence: string - name: type dtype: string - name: tail_disease_entName dtype: string - name: tail_entity_dict struct: - name: id dtype: string - name: normalized list: - name: db_id dtype: string - name: db_name dtype: string - name: offsets sequence: sequence: int64 - name: text sequence: string - name: type dtype: string - name: chemical_entitiesList list: - name: id dtype: string - name: normalized list: - name: db_id dtype: string - name: db_name dtype: string - name: offsets sequence: sequence: int64 - name: text sequence: string - name: type dtype: string - name: disease_entitiesList list: - name: id dtype: string - name: normalized list: - name: db_id dtype: string - name: db_name dtype: string - name: offsets sequence: sequence: int64 - name: text sequence: string - name: type dtype: string - name: origin_title dtype: string - name: origin_abstract dtype: string splits: - name: train num_bytes: 13560297 num_examples: 2047 - name: validation num_bytes: 13291790 num_examples: 2007 - name: test num_bytes: 13793834 num_examples: 2040 - name: test_oneshot num_bytes: 14983154 num_examples: 2040 - name: test_twoshot num_bytes: 16070474 num_examples: 2040 download_size: 11565285 dataset_size: 71699549 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* - split: test path: data/test-* - split: test_oneshot path: data/test_oneshot-* - split: test_twoshot path: data/test_twoshot-* ---数据集信息： 特征字段： - 字段名：提示词（prompt） 数据类型：字符串 - 字段名：标签 数据类型：字符串 - 字段名：修订后标题 数据类型：字符串 - 字段名：修订后摘要 数据类型：字符串 - 字段名：头部化学实体名称 数据类型：字符串 - 字段名：头部实体字典 结构类型： - 字段名：标识符（id） 数据类型：字符串 - 字段名：标准化信息 列表类型： - 字段名：数据库标识符（db_id） 数据类型：字符串 - 字段名：数据库名称（db_name） 数据类型：字符串 - 字段名：偏移量 序列类型： 嵌套序列： 64位整数（int64） - 字段名：文本 序列类型： 字符串 - 字段名：类型 数据类型：字符串 - 字段名：尾部疾病实体名称 数据类型：字符串 - 字段名：尾部实体字典 结构类型： - 字段名：标识符（id） 数据类型：字符串 - 字段名：标准化信息 列表类型： - 字段名：数据库标识符（db_id） 数据类型：字符串 - 字段名：数据库名称（db_name） 数据类型：字符串 - 字段名：偏移量 序列类型： 嵌套序列： 64位整数（int64） - 字段名：文本 序列类型： 字符串 - 字段名：类型 数据类型：字符串 - 字段名：化学实体列表 列表类型： - 字段名：标识符（id） 数据类型：字符串 - 字段名：标准化信息 列表类型： - 字段名：数据库标识符（db_id） 数据类型：字符串 - 字段名：数据库名称（db_name） 数据类型：字符串 - 字段名：偏移量 序列类型： 嵌套序列： 64位整数（int64） - 字段名：文本 序列类型： 字符串 - 字段名：类型 数据类型：字符串 - 字段名：疾病实体列表 列表类型： - 字段名：标识符（id） 数据类型：字符串 - 字段名：标准化信息 列表类型： - 字段名：数据库标识符（db_id） 数据类型：字符串 - 字段名：数据库名称（db_name） 数据类型：字符串 - 字段名：偏移量 序列类型： 嵌套序列： 64位整数（int64） - 字段名：文本 序列类型： 字符串 - 字段名：类型 数据类型：字符串 - 字段名：原始标题 数据类型：字符串 - 字段名：原始摘要 数据类型：字符串 数据集划分： - 划分名称：训练集 字节数：13560297 样本数：2047 - 划分名称：验证集 字节数：13291790 样本数：2007 - 划分名称：测试集 字节数：13793834 样本数：2040 - 划分名称：单样本测试集（test_oneshot） 字节数：14983154 样本数：2040 - 划分名称：两样本测试集（test_twoshot） 字节数：16070474 样本数：2040 下载大小：11565285 总数据集大小：71699549 配置项： - 配置名称：默认（default） 数据文件： - 划分：训练集 路径：data/train-* - 划分：验证集 路径：data/validation-* - 划分：测试集 路径：data/test-* - 划分：单样本测试集（test_oneshot） 路径：data/test_oneshot-* - 划分：两样本测试集（test_twoshot） 路径：data/test_twoshot-*

原始信息汇总

数据集概述

数据集特征

• prompt: 数据类型为字符串。
• label: 数据类型为字符串。
• revised_title: 数据类型为字符串。
• revised_abstract: 数据类型为字符串。
• head_chemical_entName: 数据类型为字符串。
• head_entity_dict: 结构化数据，包含以下字段：
  • id: 数据类型为字符串。
  • normalized: 列表，包含：
    • db_id: 数据类型为字符串。
    • db_name: 数据类型为字符串。
  • offsets: 序列，序列元素为int64。
  • text: 序列，序列元素为字符串。
  • type: 数据类型为字符串。
• tail_disease_entName: 数据类型为字符串。
• tail_entity_dict: 结构化数据，包含以下字段：
  • id: 数据类型为字符串。
  • normalized: 列表，包含：
    • db_id: 数据类型为字符串。
    • db_name: 数据类型为字符串。
  • offsets: 序列，序列元素为int64。
  • text: 序列，序列元素为字符串。
  • type: 数据类型为字符串。
• chemical_entitiesList: 列表，包含以下字段：
  • id: 数据类型为字符串。
  • normalized: 列表，包含：
    • db_id: 数据类型为字符串。
    • db_name: 数据类型为字符串。
  • offsets: 序列，序列元素为int64。
  • text: 序列，序列元素为字符串。
  • type: 数据类型为字符串。
• disease_entitiesList: 列表，包含以下字段：
  • id: 数据类型为字符串。
  • normalized: 列表，包含：
    • db_id: 数据类型为字符串。
    • db_name: 数据类型为字符串。
  • offsets: 序列，序列元素为int64。
  • text: 序列，序列元素为字符串。
  • type: 数据类型为字符串。
• origin_title: 数据类型为字符串。
• origin_abstract: 数据类型为字符串。

数据集分割

• train: 大小为13560297字节，包含2047个样本。
• validation: 大小为13291790字节，包含2007个样本。
• test: 大小为13793834字节，包含2040个样本。
• test_oneshot: 大小为14983154字节，包含2040个样本。
• test_twoshot: 大小为16070474字节，包含2040个样本。

数据集大小

• 下载大小: 11565285字节。
• 数据集总大小: 71699549字节。

配置文件

• config_name: default
• data_files:
  • train: 路径为data/train-*
  • validation: 路径为data/validation-*
  • test: 路径为data/test-*
  • test_oneshot: 路径为data/test_oneshot-*
  • test_twoshot: 路径为data/test_twoshot-*

搜集汇总

数据集介绍

构建方式

化学-疾病关系（Chemical-Disease Relation, CDR）数据集的构建，源于对生物医学文献中化合物与疾病之间复杂关联的深度挖掘。该数据集以PubMed文献为原始语料，通过系统化的信息抽取流程，从每篇文献的标题与摘要中提取出化学物质与疾病实体，并标注其间的相互作用关系。构建过程中，不仅保留了文献的原始标题与摘要文本，还对标题和摘要进行了修订，以优化实体识别的准确性。每个实体均被赋予详细的属性信息，包括其在数据库中的标准化标识符（如db_id与db_name）、在文本中的偏移位置与具体表述，从而形成结构化的实体字典。数据集的划分包含训练集、验证集、测试集以及用于少样本学习的test_oneshot和test_twoshot子集，每个子集均包含约2000个样本，确保了模型训练与评估的充分性。

使用方法

使用该数据集时，研究者可依据其清晰的分割配置灵活加载数据。通过HuggingFace Datasets库，用户能够直接指定配置名称为'default'，并选择所需的子集（如'train'、'validation'或'test'）进行模型训练与评估。每条数据中的'prompt'字段可直接作为输入，引导模型理解化学与疾病实体间的关系类型，而'label'字段则提供了标准答案。对于需要进行实体级分析的场景，'head_entity_dict'与'tail_entity_dict'字段提供了头实体（化学物质）与尾实体（疾病）的详细结构化信息，包括其在数据库中的标准化标识符与文本位置。此外，'chemical_entitiesList'与'disease_entitiesList'字段允许研究者获取文献中所有相关实体的全局视图，从而支持更复杂的多实体交互建模。数据集的少样本学习子集（test_oneshot与test_twoshot）为评估模型在有限训练数据下的泛化能力提供了宝贵资源。

背景与挑战

背景概述

在生物医学文本挖掘领域，化学物质与疾病之间复杂关联的自动抽取是精准医学信息提取的核心任务之一。由合肥工业大学研究团队于近期创建的YufeiHFUT/CDR_with_all_info数据集，专注于化学物-疾病关系（CDR）的细粒度标注与多视角信息整合。该数据集基于BioCreative V CDR语料库进行深度重构，不仅保留了传统的化学物与疾病实体及其关系标签，还创新性地融入了实体标准化信息、偏移量定位以及原始与修订后的标题摘要文本。通过提供超过六千条训练、验证与测试样本，该数据集为关系抽取、命名实体识别及实体链接等子任务提供了统一且丰富的评测基准，有力推动了生物医学语言模型在少样本学习场景下的泛化能力研究。

当前挑战

构建该数据集面临的首要挑战在于化学物与疾病实体在文献中的高度歧义性，同一化学名称可能对应多种异构体或衍生物，而疾病名称常存在同义与层级嵌套问题，要求标注体系具备精准的实体标准化与消歧能力。此外，数据构建过程中需协调多个标注维度——包括原始文本、修订文本、实体列表及其在知识库中的归一化标识——这增加了标注一致性与质量控制的技术难度。从领域问题看，现有模型在跨句子关系抽取与长文本依赖建模上仍显不足，尤其是面对实体共指与隐式关系表达时，性能瓶颈显著。少样本学习场景下的泛化挑战亦尤为突出，如何在有限标注数据下维持模型对新型化学物-疾病对的识别鲁棒性，成为制约实际应用的关键障碍。

常用场景

经典使用场景

在生物医学自然语言处理领域，CDR_with_all_info数据集因其精细的实体标注与关系注释而备受青睐。该数据集以化学物质与疾病之间的因果关系抽取为核心任务，为研究者提供了包含原始标题、摘要、修正后文本以及标准化实体标识在内的丰富信息。经典使用场景聚焦于构建端到端的药物-疾病关系抽取模型，通过融合文本上下文与实体归一化特征，提升模型在复杂生物医学文献中的泛化能力。

解决学术问题

该数据集直面生物医学文本中化学物质与疾病关联自动识别的关键挑战，有效解决了传统方法依赖手工规则、覆盖范围有限的痛点。通过提供标准化的实体标识与偏移量信息，它支持研究者深入探索实体共指消解、关系分类等基础问题。其意义在于推动从海量文献中系统挖掘药物-疾病关联，为精准医学知识库的自动化构建奠定数据基础，显著降低了人工审核成本。

实际应用

在实际应用中，CDR_with_all_info数据集成为药物重定位与药物安全监测的重要工具。基于该数据集训练的模型可自动扫描医学文献，快速发现已有药物对新型疾病的潜在治疗价值，或预警药物不良反应与疾病进展的关联。此外，该数据集还支撑智能医疗问答系统与临床决策支持系统的开发，通过实时解析科研文献中的关键证据，辅助医生制定个性化治疗方案。

数据集最近研究

最新研究方向

在生物医学自然语言处理领域，化学物质与疾病关系的自动抽取是精准医学知识图谱构建的核心挑战。YufeiHFUT/CDR_with_all_info数据集通过引入多粒度实体标注（包含标准化ID、偏移量及文本片段）与提示学习范式，为跨实体关系抽取提供了结构化训练基准。当前前沿研究聚焦于利用该数据集训练大语言模型完成化学-疾病因果关系的零样本/少样本推理，结合实体归一化技术消除同义歧义，推动药物重定位与不良反应监测的自动化。该数据集在HuggingFace上的多分片设计（含one-shot/two-shot测试集）显著提升了模型泛化性评估的严谨性，其影响力已延伸至临床决策支持系统中的关系验证环节。