Amir13/conll2003-persian

---
annotations_creators:
- crowdsourced
language:
- fa
language_creators:
- machine-generated
license:
- other
multilinguality:
- monolingual
pretty_name: conll2003-persian
size_categories:
- 10K<n<100K
source_datasets:
- extended|conll2003
tags:
- named entity recognition
task_categories:
- token-classification
task_ids:
- named-entity-recognition
train-eval-index:
- col_mapping:
ner_tags: tags
tokens: tokens
config: conll2003
metrics:
- name: seqeval
type: seqeval
splits:
eval_split: test
train_split: train
task: token-classification
task_id: entity_extraction
---

# Dataset Card for Dataset Name

## Dataset Description

- **Homepage:**
- **Repository:**
- **Paper:**
- **Leaderboard:**
- **Point of Contact:**

### Dataset Summary

This dataset card aims to be a base template for new datasets. It has been generated using [this raw template](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md?plain=1).

### Supported Tasks and Leaderboards

[More Information Needed]

### Languages

[More Information Needed]

## Dataset Structure

### Data Instances

[More Information Needed]

### Data Fields

[More Information Needed]

### Data Splits

[More Information Needed]

## Dataset Creation

### Curation Rationale

[More Information Needed]

### Source Data

#### Initial Data Collection and Normalization

[More Information Needed]

#### Who are the source language producers?

[More Information Needed]

### Annotations

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

[More Information Needed]

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]

### Other Known Limitations

[More Information Needed]

## Additional Information

### Dataset Curators

[More Information Needed]

### Licensing Information

[More Information Needed]

### Citation Information

If you used the datasets and models in this repository, please cite it.

```bibtex
@misc{https://doi.org/10.48550/arxiv.2302.09611,
doi = {10.48550/ARXIV.2302.09611},
url = {https://arxiv.org/abs/2302.09611},
author = {Sartipi, Amir and Fatemi, Afsaneh},
keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Exploring the Potential of Machine Translation for Generating Named Entity Datasets: A Case Study between Persian and English},
publisher = {arXiv},
year = {2023},
copyright = {arXiv.org perpetual, non-exclusive license}
}
```

### Contributions

[More Information Needed]

annotations_creators:
- 众包（crowdsourced）
language:
- 波斯语（fa）
language_creators:
- 机器生成（machine-generated）
license:
- 其他（other）
multilinguality:
- 单语言（monolingual）
pretty_name: conll2003-persian
size_categories:
- 1万至10万样本（10K<n<100K）
source_datasets:
- 扩展版|conll2003（extended|conll2003）
tags:
- 命名实体识别（Named Entity Recognition）
task_categories:
- 词元分类（token-classification）
task_ids:
- 命名实体识别（named-entity-recognition）
train-eval-index:
- col_mapping:
ner_tags: tags
tokens: tokens
config: conll2003
metrics:
- name: seqeval
type: seqeval
splits:
eval_split: 测试集（test）
train_split: 训练集（train）
task: 词元分类（token-classification）
task_id: 实体抽取（entity_extraction）

# 数据集卡片：conll2003-persian

## 数据集说明

- **主页：**
- **代码仓库：**
- **相关论文：**
- **排行榜：**
- **联系人：**

### 数据集概述

本数据集卡片旨在作为新建数据集的基础模板，其基于[该原始模板](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md?plain=1)生成。

### 支持的任务与排行榜

[More Information Needed]

### 支持语言

[More Information Needed]

## 数据集结构

### 数据实例

[More Information Needed]

### 数据字段

[More Information Needed]

### 数据集划分

[More Information Needed]

## 数据集构建

### 构建依据

[More Information Needed]

### 源数据

#### 初始数据收集与归一化

[More Information Needed]

#### 源语言内容创作者是谁？

[More Information Needed]

### 标注信息

#### 标注流程

[More Information Needed]

#### 标注人员是谁？

[More Information Needed]

### 个人与敏感信息

[More Information Needed]

## 数据集使用注意事项

### 数据集的社会影响

[More Information Needed]

### 偏差分析

[More Information Needed]

### 其他已知局限性

[More Information Needed]

## 附加信息

### 数据集维护者

[More Information Needed]

### 授权协议信息

[More Information Needed]

### 引用信息

若您使用了本仓库中的数据集与模型，请引用本作品。

bibtex
@misc{https://doi.org/10.48550/arxiv.2302.09611,
doi = {10.48550/ARXIV.2302.09611},
url = {https://arxiv.org/abs/2302.09611},
author = {Sartipi, Amir and Fatemi, Afsaneh},
keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Exploring the Potential of Machine Translation for Generating Named Entity Datasets: A Case Study between Persian and English},
publisher = {arXiv},
year = {2023},
copyright = {arXiv.org perpetual, non-exclusive license}
}

### 贡献情况

[More Information Needed]

原始信息汇总

数据集卡片 for conll2003-persian

数据集描述

数据集摘要

该数据集是一个单语种的波斯语命名实体识别数据集，基于CoNLL2003数据集扩展而来。

支持的任务和排行榜

• 任务类别: 令牌分类
• 任务ID: 命名实体识别

语言

• 语言: 波斯语
• 语言创建者: 机器生成

数据集结构

数据实例

[更多信息需要]

数据字段

[更多信息需要]

数据分割

[更多信息需要]

数据集创建

策划理由

[更多信息需要]

源数据

初始数据收集和规范化

[更多信息需要]

源语言生产者

[更多信息需要]

注释

注释过程

[更多信息需要]

注释者

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据的注意事项

数据集的社会影响

[更多信息需要]

讨论偏见

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

[更多信息需要]

许可信息

• 许可证: 其他

引用信息

bibtex @misc{https://doi.org/10.48550/arxiv.2302.09611, doi = {10.48550/ARXIV.2302.09611}, url = {https://arxiv.org/abs/2302.09611}, author = {Sartipi, Amir and Fatemi, Afsaneh}, keywords = {Computation and Language (cs.CL), Artificial Intelligence (cs.AI), FOS: Computer and information sciences, FOS: Computer and information sciences}, title = {Exploring the Potential of Machine Translation for Generating Named Entity Datasets: A Case Study between Persian and English}, publisher = {arXiv}, year = {2023}, copyright = {arXiv.org perpetual, non-exclusive license} }

贡献

[更多信息需要]

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，波斯语命名实体识别数据集的构建常面临资源稀缺的挑战。Amir13/conll2003-persian数据集通过机器翻译技术，将经典的CoNLL-2003英语数据集转化为波斯语版本，并借助众包方式进行标注修正，确保了跨语言知识的有效迁移。这一方法不仅扩展了波斯语NLP资源，也为低资源语言的数据生成提供了可借鉴的范式。

特点

该数据集作为波斯语命名实体识别的专项资源，具有明确的单语特性，专注于波斯语文本处理。其规模介于一万至十万条数据之间，涵盖了丰富的实体类别，为模型训练提供了充足样本。数据集结构清晰，包含标准的训练集与测试集划分，并采用序列标注评估指标，便于研究者进行系统性实验与性能比较。

使用方法

研究人员可利用该数据集直接进行波斯语命名实体识别任务的模型训练与评估。通过加载预定义的配置，将文本标记与实体标签映射后，即可使用序列标注框架进行端到端学习。数据集兼容常见的NLP工具库，支持快速集成至现有工作流程，助力波斯语信息抽取技术的探索与优化。

背景与挑战

背景概述

在自然语言处理领域，命名实体识别（NER）作为信息抽取的核心任务，对于波斯语这类资源相对稀缺的语言而言，高质量标注数据集的构建尤为关键。Amir13/conll2003-persian数据集由研究人员Amir Sartipi和Afsaneh Fatemi于2023年提出，其核心研究问题在于探索机器翻译技术在跨语言命名实体数据集生成中的应用潜力。该数据集基于经典的CoNLL-2003英语数据集，通过自动化方法转化为波斯语版本，旨在为波斯语NER模型提供基准训练资源，从而推动低资源语言信息处理技术的发展，并对跨语言迁移学习研究产生积极影响。

当前挑战

该数据集致力于解决波斯语命名实体识别任务中的资源匮乏挑战，具体包括实体边界模糊、波斯语复杂形态变化导致的标注一致性难题，以及领域专业术语的准确识别问题。在构建过程中，研究人员面临的主要挑战源于机器翻译的局限性：自动翻译可能引入语义偏差或文化特定实体的误译，需通过后处理与人工校验来保证标注质量；同时，如何将英语标注规范适配到波斯语的语言特性中，确保跨语言标注映射的准确性，亦是数据集构建的关键难点。

常用场景

经典使用场景

在自然语言处理领域，波斯语命名实体识别任务长期面临标注资源稀缺的挑战。Amir13/conll2003-persian数据集通过机器翻译与人工校正相结合的方式，将经典的CoNLL-2003英语数据集转化为波斯语版本，为研究者提供了标准化的评测基准。该数据集广泛应用于序列标注模型的训练与评估，特别是在跨语言迁移学习场景中，成为验证模型泛化能力的重要工具。其结构化标注体系支持对人物、地点、组织等实体类型的精准识别，为波斯语信息提取研究奠定了数据基础。

实际应用

在现实应用层面，该数据集支撑了波斯语智能系统的开发进程。基于其训练的模型可应用于新闻媒体机构的内容自动标签生成，助力波斯语资讯的快速分类与检索。司法与安全领域利用该技术实现法律文书中关键实体的自动化提取，提升卷宗处理效率。商业场景中，企业借助实体识别技术分析波斯语市场报告，精准定位客户与竞争对手信息。这些应用显著提升了波斯语地区信息化服务的自动化水平，为跨语言商业智能分析提供了技术支点。

衍生相关工作

围绕该数据集衍生的经典研究聚焦于跨语言序列标注模型的创新。学者们基于此开展了波斯语-英语双语联合训练框架的探索，提出了基于注意力机制的标签投影算法。相关工作还延伸至少样本学习领域，开发了适用于波斯语的元学习实体识别模型。在数据增强方面，研究者利用该数据集验证了回译技术在低资源语言标注中的有效性。这些成果形成了跨语言信息提取的技术脉络，持续推动着多语言自然语言处理前沿的发展。