hlhdatscience/es-ner-massive|命名实体识别数据集|西班牙语数据集

es-ner-massive数据集是tner/wikineural、conll2002和polyglot_ner三个数据集的组合，专为西班牙语的命名实体识别（NER）任务设计。该数据集的标签采用基于跨度的编码，遵循特定的编码约定。数据集旨在为预训练模型提供坚实的知识基础，以便进行基本的NER任务或转移学习操作。它适用于对预训练模型进行微调，以执行NER任务。数据集的语言为西班牙语，许可证为Apache-2.0。

原始信息汇总

数据集卡片 for es-ner-massive

数据集详情

数据集描述

es-ner-massive 数据集是 tner/wikineural、conll2002 和 polyglot_ner 三个数据集的组合，旨在用于命名实体识别（NER）任务。标签经过精心策划，采用基于跨度的编码方式，编码约定如下：

python encodings_dictionary = { "O": 0, "PER": 1, "ORG": 2, "LOC": 3, "MISC": 4 }

数据集结构

特征

• Tokens: 序列，类型为字符串
• Tags: 序列，类型为 int64
• Tags_string: 序列，类型为字符串
• Original_source: 类型为字符串

分割

• train: 字节数为 276428315，样本数为 471343
• test: 字节数为 6419858，样本数为 11136
• validation: 字节数为 6345480，样本数为 11456

大小

• 下载大小: 54821843 字节
• 数据集大小: 289193653 字节

配置

• config_name: default
• data_files:
  • train: data/train-*
  • test: data/test-*
  • validation: data/validation-*

任务类别

• token-classification

语言

• 西班牙语

大小类别

• 100K<n<1M

许可证

• apache-2.0