klintan/swedish_ner_corpus

--- annotations_creators: - expert-generated language_creators: - found language: - sv license: - cc-by-4.0 multilinguality: - monolingual size_categories: - 1K<n<10K source_datasets: - original task_categories: - token-classification task_ids: - named-entity-recognition pretty_name: Swedish NER Corpus dataset_info: features: - name: id dtype: string - name: tokens sequence: string - name: ner_tags sequence: class_label: names: '0': '0' '1': LOC '2': MISC '3': ORG '4': PER splits: - name: train num_bytes: 2032630 num_examples: 6886 - name: test num_bytes: 755234 num_examples: 2453 download_size: 1384558 dataset_size: 2787864 --- # Dataset Card for Swedish NER Corpus ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-leaderboards) - [Languages](#languages) - [Dataset Structure](#dataset-structure) - [Data Instances](#data-instances) - [Data Fields](#data-fields) - [Data Splits](#data-splits) - [Dataset Creation](#dataset-creation) - [Curation Rationale](#curation-rationale) - [Source Data](#source-data) - [Annotations](#annotations) - [Personal and Sensitive Information](#personal-and-sensitive-information) - [Considerations for Using the Data](#considerations-for-using-the-data) - [Social Impact of Dataset](#social-impact-of-dataset) - [Discussion of Biases](#discussion-of-biases) - [Other Known Limitations](#other-known-limitations) - [Additional Information](#additional-information) - [Dataset Curators](#dataset-curators) - [Licensing Information](#licensing-information) - [Citation Information](#citation-information) - [Contributions](#contributions) ## Dataset Description - **Homepage:** [https://github.com/klintan/swedish-ner-corpus]() - **Repository:** [https://github.com/klintan/swedish-ner-corpus]() - **Point of contact:** [Andreas Klintberg]([e-mail]) ### Dataset Summary Webbnyheter 2012 from Spraakbanken, semi-manually annotated and adapted for CoreNLP Swedish NER. Semi-manually defined in this case as: Bootstrapped from Swedish Gazetters then manually correcte/reviewed by two independent native speaking swedish annotators. No annotator agreement calculated. ### Supported Tasks and Leaderboards [More Information Needed] ### Languages Swedish ## Dataset Structure ### Data Instances A sample dataset instance is provided below: ```json {'id': '3', 'ner_tags': [4, 4, 0, 0, 0, 0, 0, 0, 3, 3, 0], 'tokens': ['Margaretha', 'Fahlgren', ',', 'professor', 'i', 'litteraturvetenskap', ',', 'vice-rektor', 'Uppsala', 'universitet', '.']} ``` ### Data Fields - `id`: id of the sentence - `token`: current token - `ner_tag`: ner tag of the token Full fields: ```json { "id":{ "feature_type":"Value" "dtype":"string" } "tokens":{ "feature_type":"Sequence" "feature":{ "feature_type":"Value" "dtype":"string" } } "ner_tags":{ "feature_type":"Sequence" "dtype":"int32" "feature":{ "feature_type":"ClassLabel" "dtype":"int32" "class_names":[ 0:"0" 1:"LOC" 2:"MISC" 3:"ORG" 4:"PER" ] } } } ``` ### Data Splits [More Information Needed] ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data [More Information Needed] #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations [More Information Needed] #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators The original dataset was provided by Språkbanken which consists of news from Swedish newspapers' websites. ### Licensing Information https://github.com/klintan/swedish-ner-corpus/blob/master/LICENSE ### Citation Information [More Information Needed] ### Contributions Thanks to [@abhishekkrthakur](https://github.com/abhishekkrthakur) for adding this dataset.annotations_creators: - 专家生成 language_creators: - 采集所得 language: - sv license: - CC BY 4.0 multilinguality: - 单语言 size_categories: - 1000 < 样本量 < 10000 source_datasets: - 原创数据集 task_categories: - 令牌分类（Token Classification） task_ids: - 命名实体识别（Named Entity Recognition，简称NER） pretty_name: 瑞典语命名实体识别语料库（Swedish NER Corpus） dataset_info: features: - name: id dtype: string - name: tokens sequence: string - name: ner_tags sequence: class_label: names: '0': '0' '1': LOC '2': MISC '3': ORG '4': PER splits: - name: train num_bytes: 2032630 num_examples: 6886 - name: test num_bytes: 755234 num_examples: 2453 download_size: 1384558 dataset_size: 2787864 --- # 瑞典语命名实体识别语料库数据集卡片 ## 目录 - [数据集说明](#dataset-description) - [数据集概述](#dataset-summary) - [支持任务与排行榜](#supported-tasks-and-leaderboards) - [语言](#languages) - [数据集结构](#dataset-structure) - [数据实例](#data-instances) - [数据字段](#data-fields) - [数据划分](#data-splits) - [数据集构建](#dataset-creation) - [构建初衷](#curation-rationale) - [源数据](#source-data) - [注释](#annotations) - [个人与敏感信息](#personal-and-sensitive-information) - [数据集使用注意事项](#considerations-for-using-the-data) - [数据集的社会影响](#social-impact-of-dataset) - [偏差讨论](#discussion-of-biases) - [其他已知局限性](#other-known-limitations) - [附加信息](#additional-information) - [数据集维护者](#dataset-curators) - [授权信息](#licensing-information) - [引用信息](#citation-information) - [贡献](#contributions) ## 数据集说明 - **主页**：[https://github.com/klintan/swedish-ner-corpus]() - **代码仓库**：[https://github.com/klintan/swedish-ner-corpus]() - **联系方式**：[Andreas Klintberg]([e-mail]) ### 数据集概述 本数据集源自Spraakbanken发布的2012年瑞典网络新闻，经半手工标注并适配CoreNLP瑞典语命名实体识别任务。此处的“半手工”定义为：从瑞典语实体词表（Swedish Gazetters）中引导生成初始标注，再由两名母语为瑞典语的独立标注者进行手动修正与审核。未计算标注者间一致性。 ### 支持任务与排行榜 [需补充更多信息] ### 语言 瑞典语 ## 数据集结构 ### 数据实例 以下为一个数据集实例示例： json {'id': '3', 'ner_tags': [4, 4, 0, 0, 0, 0, 0, 0, 3, 3, 0], 'tokens': ['Margaretha', 'Fahlgren', ',', 'professor', 'i', 'litteraturvetenskap', ',', 'vice-rektor', 'Uppsala', 'universitet', '.']} ### 数据字段 - `id`：句子的唯一标识符 - `tokens`：当前句子的词元（Token）序列 - `ner_tags`：对应词元的命名实体识别标签 完整字段定义如下： json { "id":{ "feature_type":"Value" "dtype":"string" } "tokens":{ "feature_type":"Sequence" "feature":{ "feature_type":"Value" "dtype":"string" } } "ner_tags":{ "feature_type":"Sequence" "dtype":"int32" "feature":{ "feature_type":"ClassLabel" "dtype":"int32" "class_names":[ 0:"0" 1:"LOC" 2:"MISC" 3:"ORG" 4:"PER" ] } } } ### 数据划分 [需补充更多信息] ## 数据集构建 ### 构建初衷 [需补充更多信息] ### 源数据 [需补充更多信息] #### 初始数据收集与标准化 [需补充更多信息] #### 源语言生产者是谁？ [需补充更多信息] ### 注释 [需补充更多信息] #### 注释流程 [需补充更多信息] #### 标注者是谁？ [需补充更多信息] ### 个人与敏感信息 [需补充更多信息] ## 数据集使用注意事项 ### 数据集的社会影响 [需补充更多信息] ### 偏差讨论 [需补充更多信息] ### 其他已知局限性 [需补充更多信息] ## 附加信息 ### 数据集维护者 原始数据集由Språkbanken提供，其内容源自瑞典报纸网站的新闻内容。 ### 授权信息 https://github.com/klintan/swedish-ner-corpus/blob/master/LICENSE ### 引用信息 [需补充更多信息] ### 贡献 感谢[@abhishekkrthakur](https://github.com/abhishekkrthakur)添加本数据集。

原始信息汇总

数据集卡片 - Swedish NER Corpus

数据集描述

数据集摘要

Swedish NER Corpus 数据集源自 Språkbanken 的 Webbnyheter 2012，经过半手工标注并适应 CoreNLP 瑞典 NER。半手工标注过程包括从瑞典地名录中引导，然后由两名独立的母语为瑞典语的标注者手动校正/审核。未计算标注者一致性。

支持的任务和排行榜

[更多信息需要]

语言

瑞典语

数据集结构

数据实例

以下是一个数据集实例的示例：

json { "id": "3", "ner_tags": [4, 4, 0, 0, 0, 0, 0, 0, 3, 3, 0], "tokens": ["Margaretha", "Fahlgren", ",", "professor", "i", "litteraturvetenskap", ",", "vice-rektor", "Uppsala", "universitet", "."] }

数据字段

• id: 句子的ID
• token: 当前词元
• ner_tag: 词元的NER标签

完整字段：

json { "id": { "feature_type": "Value", "dtype": "string" }, "tokens": { "feature_type": "Sequence", "feature": { "feature_type": "Value", "dtype": "string" } }, "ner_tags": { "feature_type": "Sequence", "dtype": "int32", "feature": { "feature_type": "ClassLabel", "dtype": "int32", "class_names": [ "0": "0", "1": "LOC", "2": "MISC", "3": "ORG", "4": "PER" ] } } }

数据分割

[更多信息需要]

数据集创建

策划理由

[更多信息需要]

源数据

[更多信息需要]

初始数据收集和规范化

[更多信息需要]

源语言生产者是谁？

[更多信息需要]

标注

[更多信息需要]

标注过程

[更多信息需要]

标注者是谁？

[更多信息需要]

个人和敏感信息

[更多信息需要]

使用数据的注意事项

数据集的社会影响

[更多信息需要]

偏见的讨论

[更多信息需要]

其他已知限制

[更多信息需要]

附加信息

数据集策展人

原始数据集由 Språkbanken 提供，包含来自瑞典报纸网站的新闻。

许可信息

https://github.com/klintan/swedish-ner-corpus/blob/master/LICENSE

引用信息

[更多信息需要]

贡献

感谢 @abhishekkrthakur 添加此数据集。

搜集汇总

数据集介绍

构建方式

瑞典语命名实体识别语料库（Swedish NER Corpus）源自斯普拉克银行（Språkbanken）发布的2012年网络新闻数据集（Webbnyheter 2012），经过半人工标注与修正，专为CoreNLP瑞典语命名实体识别任务优化。构建过程首先利用瑞典语地名词典进行引导式自动标注，随后由两位以瑞典语为母语的独立标注员进行人工校正与审查，但未计算标注者间的一致性。数据集划分为训练集（6886条）与测试集（2453条），标注实体涵盖地点（LOC）、杂项（MISC）、组织（ORG）及人物（PER）四类。

特点

该数据集具有鲜明的单语种特性，专注于瑞典语文本的命名实体识别任务，属于基于Token的分类标注。其独特之处在于结合了自动引导标注与人工精细校正的双重策略，既提升了标注效率，又保障了标注质量。数据实例结构清晰，包含句子标识符（id）、分词序列（tokens）及对应的NER标签序列（ner_tags），标签以整数编码映射至四类实体。数据集规模适中（1K至10K条），易于训练与评估，且遵循CC-BY-4.0许可协议，便于学术研究与工业应用。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，命令为`load_dataset("klintan/swedish_ner_corpus")`。加载后，数据以字典形式呈现，包含训练集与测试集，每个样本包括id、tokens及ner_tags字段。适用于基于Transformer的序列标注模型，如BERT、RoBERTa或ELECTRA的瑞典语变体。训练时需将tokens与ner_tags对齐，并利用ClassLabel映射进行模型输出解码。建议采用交叉验证或独立测试集评估模型性能，以衡量在瑞典语NER任务上的泛化能力。

背景与挑战

背景概述

在自然语言处理领域，命名实体识别（NER）作为信息抽取的核心任务，其发展高度依赖于高质量标注语料库的支撑。瑞典语作为北欧主要语言之一，其NER研究长期受限于标注资源的匮乏。Swedish NER Corpus由斯德哥尔摩皇家理工学院（KTH）的研究人员Andreas Klintberg主导创建，依托Språkbanken语料库中的Webbnyheter 2012新闻文本，于近年完成构建并公开。该数据集聚焦于瑞典语文本中的地点（LOC）、杂项（MISC）、组织（ORG）及人物（PER）四类实体识别，包含6886条训练样本与2453条测试样本，为瑞典语NER研究提供了首个标准化基准资源。其发布填补了低资源语言NER语料库的空白，推动了北欧语种信息抽取技术的进展，尤其为多语言NER模型的评估与迁移学习研究奠定了数据基础。

当前挑战

该数据集面临的核心挑战首先体现在标注一致性上：尽管由两位母语为瑞典语的标注者独立完成半自动标注与人工校正，但未计算标注者间一致性系数，导致实体边界界定标准可能存在隐性差异，影响模型泛化能力。其次，数据来源局限于2012年瑞典新闻网站文本，语体单一且时效性不足，难以覆盖社交媒体、学术文献等多样化场景中的实体表达。此外，数据集规模有限（不足万句），且实体类别仅包含四类基础标签，缺乏对时间、数量等细粒度实体的支持，限制了在复杂NER任务中的应用。构建过程中，基于Gazetteers的引导式标注策略虽提升了效率，但可能引入对预定义实体库的过拟合风险，削弱模型对未见实体的识别鲁棒性。

常用场景

经典使用场景

瑞典语命名实体识别（NER）语料库作为一项专为瑞典语设计的标注资源，其经典使用场景在于训练和评估基于序列标注的命名实体识别模型。该数据集源自瑞典语新闻文本，经过半人工标注与双重校对，定义了地点（LOC）、杂项（MISC）、组织（ORG）及人物（PER）四类实体标签，为瑞典语自然语言处理提供了高质量的监督学习基准。研究者常利用该语料库训练条件随机场（CRF）、双向长短期记忆网络（BiLSTM）或基于Transformer的预训练语言模型（如BERT），以精准识别瑞典语文本中的命名实体，从而推动低资源语言信息抽取技术的发展。

衍生相关工作

该数据集衍生了一系列推动瑞典语自然语言处理发展的经典工作。基于此语料库，研究者开发了首个面向瑞典语的预训练语言模型（如Swedish BERT）的NER微调基准，并催生了针对瑞典语实体链接与关系抽取任务的扩展研究。此外，该数据集被用于评估多语言NER模型的零样本迁移表现，启发了跨语言实体对齐方法的创新。其标注范式也为后续瑞典语细粒度实体识别、嵌套实体识别等前沿方向提供了参考框架，进一步丰富了北欧语言计算的研究生态。

数据集最近研究

最新研究方向

随着多语言自然语言处理技术的蓬勃发展，低资源语言的命名实体识别任务日益受到学界关注。瑞典语NER语料库作为斯堪的纳维亚语系中具有代表性的标注资源，其最新研究聚焦于迁移学习与跨语言模型适配。前沿工作致力于利用预训练语言模型（如mBERT、XLM-R）在该数据集上进行微调，探索如何通过少量标注数据捕捉瑞典语特有的实体边界特征，尤其是针对组织机构名（ORG）和人名（PER）的细粒度识别。同时，结合瑞典新闻文本的时效性特点，研究人员开始关注实体消歧与时间敏感实体的动态更新，这为北欧地区的信息抽取、知识图谱构建及数字人文研究提供了关键支撑。该数据集的持续优化与多模态扩展，正推动瑞典语NLP从学术实验迈向工业级应用，具有重要的区域语言技术生态意义。