mevol/protein_structure_NER_independent_val_set

该数据集用于评估两个模型是否达到收敛，包含20种不同的实体类型，如chemical、gene、protein等。数据集的标注是通过TeamTat工具完成的，并以BioC XML、IOB、JSON和CSV格式提供。文件中还提供了每个文档的注释数量和句子数量，并详细说明了每种格式的文件结构和内容。

This dataset is designed to assess whether two models have achieved convergence, and it includes 20 distinct entity types such as chemical, gene, protein and others. The annotations of this dataset were completed via the TeamTat tool, and the dataset is provided in BioC XML, IOB, JSON and CSV formats. It also provides the number of annotations and sentences for each document, and elaborates on the file structure and content of each format.

原始信息汇总

数据集概述

数据集用途

该数据集用于评估以下两个模型以确定是否达到收敛：

• https://huggingface.co/PDBEurope/BiomedNLP-PubMedBERT-ProteinStructure-NER-v2.1
• https://huggingface.co/PDBEurope/BiomedNLP-PubMedBERT-ProteinStructure-NER-v3.1

实体类型

数据集中包含20种不同的实体类型：

• "bond_interaction"
• "chemical"
• "complex_assembly"
• "evidence"
• "experimental_method"
• "gene"
• "mutant"
• "oligomeric_state"
• "protein"
• "protein_state"
• "protein_type"
• "ptm"
• "residue_name"
• "residue_name_number"
• "residue_number"
• "residue_range"
• "site"
• "species"
• "structure_element"
• "taxonomy_domain"

标注工具

标注工作使用免费标注工具TeamTat（https://www.teamtat.org/）进行，文档以BioC XML格式下载，然后转换为IOB、标注仅JSON和CSV格式。

标注统计

以下是每个文件中的标注数量和句子数量：

document ID	number of annotations in BioC XML	number of annotations in IOB/JSON/CSV	number of sentences
PMC5173035	885	885	195
PMC4993997	1052	1051	217
PMC5014086	676	676	136
PMC5063996	1048	1046	243
PMC4980666	669	669	164
PMC4817029	897	897	180
PMC5012862	2203	2202	438
PMC4981400	570	570	121
PMC4806292	760	760	167
PMC5603727	1353	1353	240
total	10113	10109	2101

文件格式

• 原始BioC XML文件：位于目录"raw_BioC_XML"中，每个文件以"unique PubMedCentral ID_raw.xml"命名。
• IOB格式标注文件：位于目录"annotation_IOB"中，每个文件以"unique PubMedCentral ID.tsv"命名。
• BioC JSON格式标注文件：位于目录"annotated_BioC_JSON"中，每个文件以"unique PubMedCentral ID_ann.json"命名。
• BioC XML格式标注文件：位于目录"annotated_BioC_XML"中，每个文件以"unique PubMedCentral ID_ann.xml"命名。
• CSV格式标注文件：位于目录"annotation_CSV"中，每个文件以"unique PubMedCentral ID.csv"命名。
• JSON格式标注文件：位于目录"annotation_JSON"中，文件名为"annotations.json"。

标注文件内容

• BioC JSON格式：

  • "sourceid"：唯一PubMedCentral ID的数值部分
  • "text"：出版物的完整原始文本
  • "denotations"：文本的所有标注列表
  • 每个标注包含：
    • "span"：标注的起始和结束位置
    • "obj"：包含实体类型、参考本体、标注者、时间戳的字符串
    • "id"：唯一标注ID

• BioC XML格式：

  • "annotation id="：唯一标注ID
  • "infon key="type""：标注的实体类型
  • "infon key="identifier""：标注的本体参考
  • "infon key="annotator""：标注者
  • "infon key="updated_at""：标注创建/更新时间戳
  • "location"：标注文本的起始和结束位置

• CSV格式：

  • "anno_start"：标注的起始位置
  • "anno_end"：标注的结束位置
  • "anno_text"：标注覆盖的文本
  • "entity_type"：标注的实体类型
  • "sentence"：包含标注的句子文本
  • "section"：标注所在的出版物部分

• JSON格式：

  • "PMC4850273"：唯一PubMedCentral ID
  • "annotations"：包含相关标注句子的字典列表
    • "sid"：唯一句子ID
    • "sent"：句子文本
    • "section"：句子所在的出版物部分
    • "ner"：包含起始位置、结束位置、标注文本、实体类型的嵌套列表