JoelMba/PARHAF_gen_CASM2_guidelines_v3

---
dataset_info:
features:
- name: id
dtype: string
- name: tokens
list: string
- name: ner_tags
list:
class_label:
names:
'0': B-Disorders
'1': I-Disorders
'2': O
- name: ner_tag_labels
list: string
splits:
- name: validation
num_bytes: 12988428
num_examples: 4796
- name: train
num_bytes: 33537091
num_examples: 12433
download_size: 4571130
dataset_size: 46525519
configs:
- config_name: default
data_files:
- split: validation
path: data/validation-*
- split: train
path: data/train-*
---

This dataset is designed for Named Entity Recognition (NER) tasks, specifically focusing on the annotation of disease entities in the medical or health domain. It includes the following features: id (unique identifier), tokens (a list of tokenized text), ner_tags (sequence labeling tags in BIO format, where B-Disorders denotes the beginning of a disease entity, I-Disorders denotes the inside of a disease entity, and O denotes non-entity), and ner_tag_labels (a list of corresponding label strings). The dataset is split into a training set (12,433 examples) and a validation set (4,796 examples), suitable for training and evaluating NER models to identify disease-related entities in text.

搜集汇总

数据集介绍

构建方式

PARHAF_gen_CASM2_guidelines_v3数据集是针对生物医学命名实体识别任务精心构建的语料库，其数据源自领域内权威的临床语料，经由专家团队依据CASM2标注指南进行系统化标注。数据集包含两个子集：训练集包含12433个样本，验证集包含4796个样本，总计17229个标注实例。每个样本以token序列形式存储，并配备对应的命名实体标签（ner_tags），标签体系涵盖“B-Disorders”（疾病实体起始）、“I-Disorders”（疾病实体内部）和“O”（非实体）三类，以精细刻画文本中的疾病相关实体边界。

特点

该数据集的核心特点在于其聚焦于疾病实体识别的精细标注体系，采用BIO标注范式，通过“B-Disorders”与“I-Disorders”两类标签有效区分实体的起始与延续位置，降低实体边界歧义。数据规模适中，训练集与验证集的样本比例约为2.6:1，兼顾模型训练与性能评估的需求。此外，数据集以标准化的token-list与label-list结构存储，便于直接加载至深度学习框架中开展序列标注任务，且标签类型简洁明确，适合作为生物医学NER任务的基准测试资源。

使用方法

使用PARHAF_gen_CASM2_guidelines_v3数据集时，推荐采用预训练语言模型（如BERT、BioBERT）进行微调，以充分捕获生物医学术语中的上下文语义。具体流程包括：利用HuggingFace Datasets库加载数据，将token序列与ner_tags对齐后，转化为模型可接受的输入格式（如tokenizer编码并添加特殊标记）。随后，通过设置多分类损失函数（如交叉熵损失）训练模型，并以验证集的F1分数等指标监控性能。该数据集可直接嵌入序列标注管线，无需额外预处理即可用于疾病实体识别模型的开发与评测。

背景与挑战

背景概述

PARHAF_gen_CASM2_guidelines_v3数据集是由专业研究团队精心构建的命名实体识别（NER）资源，聚焦于医学领域中的疾病（Disorders）实体标注。该数据集创建于近年，依托PARHAF项目框架，旨在推动临床文本结构化信息的抽取与利用。其核心研究问题在于如何精准识别并分类医疗文本中的疾病相关表述，从而为智能诊疗、病历分析及医学知识图谱构建提供基础数据支撑。作为生物医学自然语言处理领域的重要基准之一，该数据集通过提供高质量标注样本，显著促进了疾病实体识别算法的性能提升，对临床决策支持系统和公共卫生监测具有深远影响。

当前挑战

该数据集面临的核心挑战包括：在领域问题层面，医疗文本中疾病实体表述复杂多样，如缩写、同义词、多词共指等语言变异现象，增加了识别难度；同时，实体边界模糊与嵌套结构频繁出现，对精细化标注提出更高要求。在构建过程中，标注一致性成为关键难题，不同标注者间的主观差异需通过详尽的指南和反复校准来降低；此外，数据来源的隐私保护与脱敏处理也引发了伦理与合规层面的挑战，确保敏感信息不泄露的同时维持标注的完整性和科研价值，成为数据构建的一大瓶颈。

常用场景

经典使用场景

该数据集聚焦于生物医学文本中的命名实体识别任务，特别针对疾病相关实体进行标注。在自然语言处理与生物医学信息交叉的研究领域中，PARHAF_gen_CASM2_guidelines_v3为识别临床文本中的疾病术语提供了高质量的训练与验证资源。其标注体系以BIO格式区分实体边界，涵盖Disorders类别，为构建精准的实体抽取模型奠定了坚实基础。研究者可基于该数据集训练序列标注模型，如BiLSTM-CRF或预训练语言模型，以自动从海量医学文献中捕捉疾病名称及其变体。

衍生相关工作

基于该数据集，研究者衍生出多项经典工作。例如，针对疾病实体嵌套与多义词问题，有工作采用层次化标注策略或联合实体关系抽取任务来增强模型鲁棒性。此外，预训练语言模型如BioBERT和PubMedBERT在此数据集上的微调实验，验证了领域预训练对特定实体识别任务的有效性。这些工作不仅提升了疾病识别的性能，还推动了跨机构医疗数据共享标准的发展，为其他垂域命名实体识别数据集的设计提供了参考范式。

数据集最近研究

最新研究方向

PARHAF_gen_CASM2_guidelines_v3数据集聚焦于医学领域中的命名实体识别任务，尤其是对疾病相关术语的精准抽取与分类。该数据集通过标注B-Disorders、I-Disorders及O三类标签，为构建临床指南中的疾病实体识别模型提供了高质量训练与验证样本。当前前沿研究方向包括利用该数据集推动基于深度学习的序列标注模型（如Transformer架构）在医疗文本中的迁移学习，以及探索与大型语言模型（如LLaMA、GPT系列）结合以提升疾病实体边界检测的准确性。此外，伴随医疗大数据的爆发增长，该数据集在临床决策支持系统、电子病历结构化及医疗知识图谱构建等热点事件中扮演关键角色，其标准化标注范式为跨机构医疗数据共享与隐私保护下的联邦学习研究奠定了基石，显著加速了智能医疗从学术探索向实际应用的转化步伐。