PDBEurope/protein_structure_NER_model_v2.1

该数据集主要用于训练蛋白质结构命名实体识别（NER）模型，包含20种不同的实体类型，如化学物质、基因、蛋白质等。数据以IOB格式准备，并用于训练、开发和测试。此外，数据集还提供了JSON、XML和CSV格式的注释文件。注释使用TeamTat工具进行，文档以BioC XML格式下载后转换为IOB、JSON和CSV格式。数据集中包含多个文档，每个文档的注释数量和句子数量在表格中详细列出。数据集还提供了原始BioC XML文件、IOB格式注释文件、BioC JSON格式注释文件、BioC XML格式注释文件、CSV格式注释文件以及JSON格式注释文件。

This dataset is used to train a protein structure named entity recognition model, containing 20 different entity types such as bond_interaction, chemical, complex_assembly, etc. The data formats include IOB, JSON, XML, and CSV, with IOB format used for training, development, and testing. The documents and annotations in the dataset can be viewed using BioC XML files in the TeamTat tool. The number of annotations and sentences for each document is detailed. Additionally, the dataset provides raw BioC XML files, IOB formatted annotation files, BioC JSON formatted annotation files, BioC XML formatted annotation files, CSV formatted annotation files, and JSON formatted annotation files.

原始信息汇总

数据集概述

数据集用途

• 用于训练模型：PDBEurope/BiomedNLP-PubMedBERT-ProteinStructure-NER-v2.1

实体类型

• 数据集中包含20种不同的实体类型：
  • "bond_interaction"
  • "chemical"
  • "complex_assembly"
  • "evidence"
  • "experimental_method"
  • "gene"
  • "mutant"
  • "oligomeric_state"
  • "protein"
  • "protein_state"
  • "protein_type"
  • "ptm"
  • "residue_name"
  • "residue_name_number"
  • "residue_number"
  • "residue_range"
  • "site"
  • "species"
  • "structure_element"
  • "taxonomy_domain"

数据格式

• 数据以IOB格式准备，用于训练、开发和测试。
• 其他数据格式包括JSON、XML和CSV。

数据文件

• 配置文件：protein_structure_NER_model_v2.1
  • 训练集：annotation_IOB/train.tsv
  • 开发集：annotation_IOB/dev.tsv
  • 测试集：annotation_IOB/test.tsv

数据统计

• 每个文件的注释数量和句子数量如下：

document ID	注释数量（BioC XML）	注释数量（IOB/JSON/CSV）	句子数量
PMC4850273	1129	1129	205
PMC4784909	868	868	204
PMC4850288	718	710	146
PMC4887326	942	942	152
PMC4833862	1044	1044	192
PMC4832331	739	718	134
PMC4852598	1239	1228	250
PMC4786784	1573	1573	232
PMC4848090	1002	1000	192
PMC4792962	1297	1297	256
PMC4841544	1460	1459	274
PMC4772114	824	824	165
PMC4872110	1283	1283	250
PMC4848761	888	884	252
PMC4919469	1636	1624	336
PMC4880283	783	783	166
PMC4968113	1245	1245	292
PMC4937829	633	633	181
PMC4854314	498	488	139
PMC4871749	411	411	79
PMC4869123	922	922	195
PMC4888278	580	580	102
PMC4795551	1475	1475	297
PMC4831588	1087	1070	224
PMC4918766	1027	1027	210
PMC4802042	1445	1445	268
PMC4896748	2652	2638	480
PMC4781976	115	113	24
PMC4802085	983	983	193
PMC4887163	856	856	196
total	31354	31252	6286

数据文件详细信息

• IOB格式文件：

  • 目录：annotation_IOB
  • 文件：
    • all.tsv：包含所有用于创建模型的句子和注释，共6286个句子
    • train.tsv：训练数据子集，共4400个句子
    • dev.tsv：开发数据子集，共943个句子
    • test.tsv：测试数据子集，共943个句子
  • 总注释数量：31252

• BioC JSON格式文件：

  • 目录：annotated_BioC_JSON
  • 文件命名：unique PubMedCentral ID_ann.json
  • 文件内容：
    • sourceid：PubMedCentral ID的数值部分
    • text：出版物的完整原始文本
    • denotations：文本的所有注释列表

• BioC XML格式文件：

  • 目录：annotated_BioC_XML
  • 文件命名：unique PubMedCentral ID_ann.xml
  • 文件内容：
    • annotation id：注释的唯一ID
    • infon key="type"：注释的实体类型
    • infon key="identifier"：注释的参考本体
    • infon key="annotator"：注释者
    • infon key="updated_at"：注释创建/更新的时间戳
    • location：注释文本跨度的起始和结束字符位置

• CSV格式文件：

  • 目录：annotation_CSV
  • 文件命名：unique PubMedCentral ID.csv
  • 列标签：
    • anno_start：注释的起始字符位置
    • anno_end：注释的结束字符位置
    • anno_text：注释覆盖的文本
    • entity_type：注释的实体类型
    • sentence：包含注释的句子文本
    • section：注释所在的出版物部分

• JSON格式文件：

  • 目录：annotation_JSON
  • 文件：annotations.json
  • 文件内容：
    • PMC4850273：出版物的唯一PubMedCentral ID
    • annotations：出版物的相关注释句子列表
      • sid：唯一句子ID
      • sent：句子文本
      • section：句子所在的出版物部分
      • ner：嵌套的注释列表，每个子列表包含起始字符位置、结束字符位置、注释文本和实体类型