community-datasets/ronec

RONEC数据集是一个用于罗马尼亚语命名实体识别任务的数据集，版本为2.0。该数据集包含12330个句子和超过50万个标记，标注了15个类别的80,283个不同实体。数据集分为训练集、验证集和测试集，分别包含9000、1330和2000个句子。每个句子由专家进行标注，标注过程经过多次交叉检查以确保一致性。数据集中的实体类别包括人名、地名、组织名、时间、数量、货币等。数据集的结构包括每个句子的标记、实体标签、实体ID以及标记后的空格信息。

The RONEC dataset is a dataset for Named Entity Recognition tasks in the Romanian language, version 2.0. It contains 12,330 sentences with over 0.5 million tokens, annotated with 15 classes, totaling 80,283 distinctly annotated entities. The dataset is divided into training, validation, and test sets, containing 9,000, 1,330, and 2,000 sentences respectively. Each sentence was annotated by experts, and the annotation process was cross-checked for consistency. The entity categories in the dataset include person names, geographical names, organization names, time, quantity, money, etc. The dataset structure includes tokens, entity tags, entity IDs, and space-after information for each sentence.

原始信息汇总

数据集概述

数据集基本信息

• 名称: RONEC
• 版本: 2.0
• 语言: 罗马尼亚语 (ro)
• 许可证: MIT
• 任务类型: 命名实体识别 (Named Entity Recognition, NER)
• 数据集大小: 1K<n<10K
• 多语言性: 单语种

数据集结构

特征

• id: 整数类型
• tokens: 字符串序列
• ner_ids: 整数序列
• space_after: 布尔序列
• ner_tags: 标签序列，包含以下类别：
  • 0: O
  • 1: B-PERSON
  • 2: I-PERSON
  • 3: B-ORG
  • 4: I-ORG
  • 5: B-GPE
  • 6: I-GPE
  • 7: B-LOC
  • 8: I-LOC
  • 9: B-NAT_REL_POL
  • 10: I-NAT_REL_POL
  • 11: B-EVENT
  • 12: I-EVENT
  • 13: B-LANGUAGE
  • 14: I-LANGUAGE
  • 15: B-WORK_OF_ART
  • 16: I-WORK_OF_ART
  • 17: B-DATETIME
  • 18: I-DATETIME
  • 19: B-PERIOD
  • 20: I-PERIOD
  • 21: B-MONEY
  • 22: I-MONEY
  • 23: B-QUANTITY
  • 24: I-QUANTITY
  • 25: B-NUMERIC
  • 26: I-NUMERIC
  • 27: B-ORDINAL
  • 28: I-ORDINAL
  • 29: B-FACILITY
  • 30: I-FACILITY

数据分割

• 训练集: 9000个句子
• 验证集: 1330个句子
• 测试集: 2000个句子

数据集创建

注释过程

• 注释者: 3位语言专家
• 注释时间: 数月
• 注释一致性: 交叉检查

注释类别

1. PERSON
2. GPE
3. LOC
4. ORG
5. LANGUAGE
6. NAT_REL_POL
7. DATETIME
8. PERIOD
9. QUANTITY
10. MONEY
11. NUMERIC
12. ORDINAL
13. FACILITY
14. WORK_OF_ART
15. EVENT

数据集使用注意事项

许可证

• MIT License

引用信息

bibtex @article{dumitrescu2019introducing, title={Introducing RONEC--the Romanian Named Entity Corpus}, author={Dumitrescu, Stefan Daniel and Avram, Andrei-Marius}, journal={arXiv preprint arXiv:1909.01247}, year={2019} }