klintan/swedish_ner_corpus

---
annotations_creators:
- expert-generated
language_creators:
- found
language:
- sv
license:
- cc-by-4.0
multilinguality:
- monolingual
size_categories:
- 1K<n<10K
source_datasets:
- original
task_categories:
- token-classification
task_ids:
- named-entity-recognition
pretty_name: Swedish NER Corpus
dataset_info:
features:
- name: id
dtype: string
- name: tokens
sequence: string
- name: ner_tags
sequence:
class_label:
names:
'0': '0'
'1': LOC
'2': MISC
'3': ORG
'4': PER
splits:
- name: train
num_bytes: 2032630
num_examples: 6886
- name: test
num_bytes: 755234
num_examples: 2453
download_size: 1384558
dataset_size: 2787864
---

# Dataset Card for Swedish NER Corpus

## Table of Contents
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-fields)
- [Data Splits](#data-splits)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)
- [Contributions](#contributions)

## Dataset Description

- **Homepage:** [https://github.com/klintan/swedish-ner-corpus]()
- **Repository:** [https://github.com/klintan/swedish-ner-corpus]()
- **Point of contact:** [Andreas Klintberg]([e-mail])

### Dataset Summary

Webbnyheter 2012 from Spraakbanken, semi-manually annotated and adapted for CoreNLP Swedish NER. Semi-manually defined in this case as: Bootstrapped from Swedish Gazetters then manually correcte/reviewed by two independent native speaking swedish annotators. No annotator agreement calculated.

### Supported Tasks and Leaderboards

[More Information Needed]

### Languages

Swedish

## Dataset Structure

### Data Instances

A sample dataset instance is provided below:

```json
{'id': '3',
'ner_tags': [4, 4, 0, 0, 0, 0, 0, 0, 3, 3, 0],
'tokens': ['Margaretha',
'Fahlgren',
',',
'professor',
'i',
'litteraturvetenskap',
',',
'vice-rektor',
'Uppsala',
'universitet',
'.']}
```

### Data Fields

- `id`: id of the sentence
- `token`: current token
- `ner_tag`: ner tag of the token

Full fields:

```json
{
"id":{
"feature_type":"Value"
"dtype":"string"
}
"tokens":{
"feature_type":"Sequence"
"feature":{
"feature_type":"Value"
"dtype":"string"
}
}
"ner_tags":{
"feature_type":"Sequence"
"dtype":"int32"
"feature":{
"feature_type":"ClassLabel"
"dtype":"int32"
"class_names":[
0:"0"
1:"LOC"
2:"MISC"
3:"ORG"
4:"PER"
]
}
}
}
```

### Data Splits

[More Information Needed]

## Dataset Creation

### Curation Rationale

[More Information Needed]

### Source Data

[More Information Needed]

#### Initial Data Collection and Normalization

[More Information Needed]

#### Who are the source language producers?

[More Information Needed]

### Annotations

[More Information Needed]

#### Annotation process

[More Information Needed]

#### Who are the annotators?

[More Information Needed]

### Personal and Sensitive Information

[More Information Needed]

## Considerations for Using the Data

### Social Impact of Dataset

[More Information Needed]

### Discussion of Biases

[More Information Needed]

### Other Known Limitations

[More Information Needed]

## Additional Information

### Dataset Curators

The original dataset was provided by Språkbanken which consists of news from Swedish newspapers' websites.

### Licensing Information

https://github.com/klintan/swedish-ner-corpus/blob/master/LICENSE

### Citation Information

[More Information Needed]

### Contributions

Thanks to [@abhishekkrthakur](https://github.com/abhishekkrthakur) for adding this dataset.

annotations_creators:
- 专家生成
language_creators:
- 采集所得
language:
- sv
license:
- CC BY 4.0
multilinguality:
- 单语言
size_categories:
- 1000 < 样本量 < 10000
source_datasets:
- 原创数据集
task_categories:
- 令牌分类（Token Classification）
task_ids:
- 命名实体识别（Named Entity Recognition，简称NER）
pretty_name: 瑞典语命名实体识别语料库（Swedish NER Corpus）
dataset_info:
features:
- name: id
dtype: string
- name: tokens
sequence: string
- name: ner_tags
sequence:
class_label:
names:
'0': '0'
'1': LOC
'2': MISC
'3': ORG
'4': PER
splits:
- name: train
num_bytes: 2032630
num_examples: 6886
- name: test
num_bytes: 755234
num_examples: 2453
download_size: 1384558
dataset_size: 2787864
---

# 瑞典语命名实体识别语料库数据集卡片

## 目录
- [数据集说明](#dataset-description)
- [数据集概述](#dataset-summary)
- [支持任务与排行榜](#supported-tasks-and-leaderboards)
- [语言](#languages)
- [数据集结构](#dataset-structure)
- [数据实例](#data-instances)
- [数据字段](#data-fields)
- [数据划分](#data-splits)
- [数据集构建](#dataset-creation)
- [构建初衷](#curation-rationale)
- [源数据](#source-data)
- [注释](#annotations)
- [个人与敏感信息](#personal-and-sensitive-information)
- [数据集使用注意事项](#considerations-for-using-the-data)
- [数据集的社会影响](#social-impact-of-dataset)
- [偏差讨论](#discussion-of-biases)
- [其他已知局限性](#other-known-limitations)
- [附加信息](#additional-information)
- [数据集维护者](#dataset-curators)
- [授权信息](#licensing-information)
- [引用信息](#citation-information)
- [贡献](#contributions)

## 数据集说明

- **主页**：[https://github.com/klintan/swedish-ner-corpus]()
- **代码仓库**：[https://github.com/klintan/swedish-ner-corpus]()
- **联系方式**：[Andreas Klintberg]([e-mail])

### 数据集概述

本数据集源自Spraakbanken发布的2012年瑞典网络新闻，经半手工标注并适配CoreNLP瑞典语命名实体识别任务。此处的“半手工”定义为：从瑞典语实体词表（Swedish Gazetters）中引导生成初始标注，再由两名母语为瑞典语的独立标注者进行手动修正与审核。未计算标注者间一致性。

### 支持任务与排行榜

[需补充更多信息]

### 语言

瑞典语

## 数据集结构

### 数据实例

以下为一个数据集实例示例：
json
{'id': '3',
'ner_tags': [4, 4, 0, 0, 0, 0, 0, 0, 3, 3, 0],
'tokens': ['Margaretha',
'Fahlgren',
',',
'professor',
'i',
'litteraturvetenskap',
',',
'vice-rektor',
'Uppsala',
'universitet',
'.']}

### 数据字段

- `id`：句子的唯一标识符
- `tokens`：当前句子的词元（Token）序列
- `ner_tags`：对应词元的命名实体识别标签

完整字段定义如下：
json
{
"id":{
"feature_type":"Value"
"dtype":"string"
}
"tokens":{
"feature_type":"Sequence"
"feature":{
"feature_type":"Value"
"dtype":"string"
}
}
"ner_tags":{
"feature_type":"Sequence"
"dtype":"int32"
"feature":{
"feature_type":"ClassLabel"
"dtype":"int32"
"class_names":[
0:"0"
1:"LOC"
2:"MISC"
3:"ORG"
4:"PER"
]
}
}
}

### 数据划分

[需补充更多信息]

## 数据集构建

### 构建初衷

[需补充更多信息]

### 源数据

[需补充更多信息]

#### 初始数据收集与标准化

[需补充更多信息]

#### 源语言生产者是谁？

[需补充更多信息]

### 注释

[需补充更多信息]

#### 注释流程

[需补充更多信息]

#### 标注者是谁？

[需补充更多信息]

### 个人与敏感信息

[需补充更多信息]

## 数据集使用注意事项

### 数据集的社会影响

[需补充更多信息]

### 偏差讨论

[需补充更多信息]

### 其他已知局限性

[需补充更多信息]

## 附加信息

### 数据集维护者

原始数据集由Språkbanken提供，其内容源自瑞典报纸网站的新闻内容。

### 授权信息

https://github.com/klintan/swedish-ner-corpus/blob/master/LICENSE

### 引用信息

[需补充更多信息]

### 贡献

感谢[@abhishekkrthakur](https://github.com/abhishekkrthakur)添加本数据集。

原始信息汇总

数据集卡片 - Swedish NER Corpus

数据集描述

数据集摘要

Swedish NER Corpus 数据集源自 Språkbanken 的 Webbnyheter 2012，经过半手工标注并适应 CoreNLP 瑞典 NER。半手工标注过程包括从瑞典地名录中引导，然后由两名独立的母语为瑞典语的标注者手动校正/审核。未计算标注者一致性。

支持的任务和排行榜

[更多信息需要]

语言

瑞典语

数据集结构

数据实例

以下是一个数据集实例的示例：

json { "id": "3", "ner_tags": [4, 4, 0, 0, 0, 0, 0, 0, 3, 3, 0], "tokens": ["Margaretha", "Fahlgren", ",", "professor", "i", "litteraturvetenskap", ",", "vice-rektor", "Uppsala", "universitet", "."] }

数据字段

• id: 句子的ID
• token: 当前词元
• ner_tag: 词元的NER标签

完整字段：

json { "id": { "feature_type": "Value", "dtype": "string" }, "tokens": { "feature_type": "Sequence", "feature": { "feature_type": "Value", "dtype": "string" } }, "ner_tags": { "feature_type": "Sequence", "dtype": "int32", "feature": { "feature_type": "ClassLabel", "dtype": "int32", "class_names": [ "0": "0", "1": "LOC", "2": "MISC", "3": "ORG", "4": "PER" ] } } }

数据分割

[更多信息需要]

数据集创建

策划理由

[更多信息需要]

源数据

[更多信息需要]

初始数据收集和规范化

[更多信息需要]

源语言生产者是谁？

[更多信息需要]

标注

[更多信息需要]

标注过程

[更多信息需要]

标注者是谁？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

原始数据集由 Språkbanken 提供，包含来自瑞典报纸网站的新闻。

许可信息

https://github.com/klintan/swedish-ner-corpus/blob/master/LICENSE

引用信息

[更多信息需要]

贡献

感谢 @abhishekkrthakur 添加此数据集。

搜集汇总

数据集介绍

构建方式

瑞典语命名实体识别语料库（Swedish NER Corpus）源自斯普拉克银行（Språkbanken）发布的2012年网络新闻数据集（Webbnyheter 2012），经过半人工标注与修正，专为CoreNLP瑞典语命名实体识别任务优化。构建过程首先利用瑞典语地名词典进行引导式自动标注，随后由两位以瑞典语为母语的独立标注员进行人工校正与审查，但未计算标注者间的一致性。数据集划分为训练集（6886条）与测试集（2453条），标注实体涵盖地点（LOC）、杂项（MISC）、组织（ORG）及人物（PER）四类。

特点

该数据集具有鲜明的单语种特性，专注于瑞典语文本的命名实体识别任务，属于基于Token的分类标注。其独特之处在于结合了自动引导标注与人工精细校正的双重策略，既提升了标注效率，又保障了标注质量。数据实例结构清晰，包含句子标识符（id）、分词序列（tokens）及对应的NER标签序列（ner_tags），标签以整数编码映射至四类实体。数据集规模适中（1K至10K条），易于训练与评估，且遵循CC-BY-4.0许可协议，便于学术研究与工业应用。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，命令为`load_dataset("klintan/swedish_ner_corpus")`。加载后，数据以字典形式呈现，包含训练集与测试集，每个样本包括id、tokens及ner_tags字段。适用于基于Transformer的序列标注模型，如BERT、RoBERTa或ELECTRA的瑞典语变体。训练时需将tokens与ner_tags对齐，并利用ClassLabel映射进行模型输出解码。建议采用交叉验证或独立测试集评估模型性能，以衡量在瑞典语NER任务上的泛化能力。

背景与挑战

背景概述

在自然语言处理领域，命名实体识别（NER）作为信息抽取的核心任务，其发展高度依赖于高质量标注语料库的支撑。瑞典语作为北欧主要语言之一，其NER研究长期受限于标注资源的匮乏。Swedish NER Corpus由斯德哥尔摩皇家理工学院（KTH）的研究人员Andreas Klintberg主导创建，依托Språkbanken语料库中的Webbnyheter 2012新闻文本，于近年完成构建并公开。该数据集聚焦于瑞典语文本中的地点（LOC）、杂项（MISC）、组织（ORG）及人物（PER）四类实体识别，包含6886条训练样本与2453条测试样本，为瑞典语NER研究提供了首个标准化基准资源。其发布填补了低资源语言NER语料库的空白，推动了北欧语种信息抽取技术的进展，尤其为多语言NER模型的评估与迁移学习研究奠定了数据基础。

当前挑战

该数据集面临的核心挑战首先体现在标注一致性上：尽管由两位母语为瑞典语的标注者独立完成半自动标注与人工校正，但未计算标注者间一致性系数，导致实体边界界定标准可能存在隐性差异，影响模型泛化能力。其次，数据来源局限于2012年瑞典新闻网站文本，语体单一且时效性不足，难以覆盖社交媒体、学术文献等多样化场景中的实体表达。此外，数据集规模有限（不足万句），且实体类别仅包含四类基础标签，缺乏对时间、数量等细粒度实体的支持，限制了在复杂NER任务中的应用。构建过程中，基于Gazetteers的引导式标注策略虽提升了效率，但可能引入对预定义实体库的过拟合风险，削弱模型对未见实体的识别鲁棒性。

常用场景

经典使用场景

瑞典语命名实体识别（NER）语料库作为一项专为瑞典语设计的标注资源，其经典使用场景在于训练和评估基于序列标注的命名实体识别模型。该数据集源自瑞典语新闻文本，经过半人工标注与双重校对，定义了地点（LOC）、杂项（MISC）、组织（ORG）及人物（PER）四类实体标签，为瑞典语自然语言处理提供了高质量的监督学习基准。研究者常利用该语料库训练条件随机场（CRF）、双向长短期记忆网络（BiLSTM）或基于Transformer的预训练语言模型（如BERT），以精准识别瑞典语文本中的命名实体，从而推动低资源语言信息抽取技术的发展。

衍生相关工作

该数据集衍生了一系列推动瑞典语自然语言处理发展的经典工作。基于此语料库，研究者开发了首个面向瑞典语的预训练语言模型（如Swedish BERT）的NER微调基准，并催生了针对瑞典语实体链接与关系抽取任务的扩展研究。此外，该数据集被用于评估多语言NER模型的零样本迁移表现，启发了跨语言实体对齐方法的创新。其标注范式也为后续瑞典语细粒度实体识别、嵌套实体识别等前沿方向提供了参考框架，进一步丰富了北欧语言计算的研究生态。

数据集最近研究

最新研究方向

随着多语言自然语言处理技术的蓬勃发展，低资源语言的命名实体识别任务日益受到学界关注。瑞典语NER语料库作为斯堪的纳维亚语系中具有代表性的标注资源，其最新研究聚焦于迁移学习与跨语言模型适配。前沿工作致力于利用预训练语言模型（如mBERT、XLM-R）在该数据集上进行微调，探索如何通过少量标注数据捕捉瑞典语特有的实体边界特征，尤其是针对组织机构名（ORG）和人名（PER）的细粒度识别。同时，结合瑞典新闻文本的时效性特点，研究人员开始关注实体消歧与时间敏感实体的动态更新，这为北欧地区的信息抽取、知识图谱构建及数字人文研究提供了关键支撑。该数据集的持续优化与多模态扩展，正推动瑞典语NLP从学术实验迈向工业级应用，具有重要的区域语言技术生态意义。