strombergnlp/bornholmsk

---
annotations_creators:
- no-annotation
language_creators:
- found
language:
- da
license:
- cc-by-4.0
multilinguality:
- monolingual
size_categories:
- 100K<n<1M
source_datasets:
- original
task_categories:
- text-generation
task_ids:
- language-modeling
language_bcp47:
- da
- da-bornholm
---

## Table of Contents
- [Dataset Description](#dataset-description)
- [Dataset Summary](#dataset-summary)
- [Supported Tasks](#supported-tasks-and-leaderboards)
- [Languages](#languages)
- [Dataset Structure](#dataset-structure)
- [Data Instances](#data-instances)
- [Data Fields](#data-instances)
- [Data Splits](#data-instances)
- [Dataset Creation](#dataset-creation)
- [Curation Rationale](#curation-rationale)
- [Source Data](#source-data)
- [Annotations](#annotations)
- [Personal and Sensitive Information](#personal-and-sensitive-information)
- [Considerations for Using the Data](#considerations-for-using-the-data)
- [Social Impact of Dataset](#social-impact-of-dataset)
- [Discussion of Biases](#discussion-of-biases)
- [Other Known Limitations](#other-known-limitations)
- [Additional Information](#additional-information)
- [Dataset Curators](#dataset-curators)
- [Licensing Information](#licensing-information)
- [Citation Information](#citation-information)

## Dataset Description

- **Homepage:** https://github.com/StrombergNLP/bornholmsk
- **Repository:** https://github.com/StrombergNLP/bornholmsk
- **Paper:** https://aclanthology.org/W19-6138/
- **Leaderboard:** [Needs More Information]
- **Point of Contact:** [Leon Derczynski](https://github.com/leondz)

### Dataset Summary

This corpus introduces language processing resources and tools for Bornholmsk, a language spoken on the island of Bornholm, with roots in Danish and closely related to Scanian.

Sammenfattnijng på borrijnholmst: Dæjnna artikkelijn introduserer natursprågsresurser å varktoi for borrijnholmst, ed språg a dær snakkes på ön Borrijnholm me rødder i danst å i nær familia me skånst.

For more details, see the paper [Bornholmsk Natural Language Processing: Resources and Tools](https://aclanthology.org/W19-6138/).

### Supported Tasks and Leaderboards

*

### Languages

Bornholmsk, a language variant of Danish spoken on the island of Bornholm. bcp47: `da-bornholm`

## Dataset Structure

### Data Instances

13169 lines, 175 167 words, 801 KB

### Data Fields

`id`: the sentence ID, `int`
`text`: the Bornholmsk text, `string`

### Data Splits

Monolithic

## Dataset Creation

### Curation Rationale

To gather as much digital Bornholmsk together as possible

### Source Data

#### Initial Data Collection and Normalization

From many places - see paper for details. Sources include poems, songs, translations from Danish, folk stories, dictionary entries.

#### Who are the source language producers?

Native speakers of Bornholmsk who have produced works in their native language, or translated them to Danish. Much of the data is the result of a community of Bornholmsk speakers volunteering their time across the island in an effort to capture this endangered language.

### Annotations

#### Annotation process

No annotations

#### Who are the annotators?

No annotations

### Personal and Sensitive Information

Unknown, but low risk of presence, given the source material

## Considerations for Using the Data

### Social Impact of Dataset

The purpose of this dataset is to capture Bornholmsk digitally and provide a way for NLP systems to interact with it, and perhaps even spark interest in dealing with the language.

### Discussion of Biases

[Needs More Information]

### Other Known Limitations

[Needs More Information]

## Additional Information

### Dataset Curators

This collection of Bornholmsk is curated by Leon Derczynski and Alex Speed Kjeldsen

### Licensing Information

Creative Commons Attribution 4.0

### Citation Information

```
@inproceedings{derczynski-kjeldsen-2019-bornholmsk,
title = "Bornholmsk Natural Language Processing: Resources and Tools",
author = "Derczynski, Leon and
Kjeldsen, Alex Speed",
booktitle = "Proceedings of the 22nd Nordic Conference on Computational Linguistics",
month = sep # "{--}" # oct,
year = "2019",
address = "Turku, Finland",
publisher = {Link{\"o}ping University Electronic Press},
url = "https://aclanthology.org/W19-6138",
pages = "338--344",
}
```

annotations_creators:
- 无注释（no-annotation）
language_creators:
- 现有文本采集（found）
language:
- 丹麦语（da）
license:
- 知识共享署名4.0（cc-by-4.0）
multilinguality:
- 单语言（monolingual）
size_categories:
- 10万<样本量<100万
source_datasets:
- 原创数据集（original）
task_categories:
- 文本生成（text-generation）
task_ids:
- 语言建模（language-modeling）
language_bcp47:
- 丹麦语（da）
- 博恩霍尔姆丹麦语（da-bornholm）

## 目录
- [数据集说明](#dataset-description)
- [数据集概览](#dataset-summary)
- [支持任务与排行榜](#supported-tasks-and-leaderboards)
- [语言说明](#languages)
- [数据集结构](#dataset-structure)
- [数据实例](#data-instances)
- [数据字段](#data-fields)
- [数据划分](#data-splits)
- [数据集构建](#dataset-creation)
- [构建初衷](#curation-rationale)
- [源数据](#source-data)
- [注释信息](#annotations)
- [个人与敏感信息](#personal-and-sensitive-information)
- [数据集使用注意事项](#considerations-for-using-the-data)
- [数据集社会影响](#social-impact-of-dataset)
- [偏倚讨论](#discussion-of-biases)
- [其他已知局限性](#other-known-limitations)
- [附加信息](#additional-information)
- [数据集维护者](#dataset-curators)
- [许可信息](#licensing-information)
- [引用信息](#citation-information)

## 数据集说明

- **数据集主页：** https://github.com/StrombergNLP/bornholmsk
- **代码仓库：** https://github.com/StrombergNLP/bornholmsk
- **相关论文：** https://aclanthology.org/W19-6138/
- **排行榜：** [需补充更多信息]
- **联系人：** 莱昂·德钦斯基（Leon Derczynski），https://github.com/leondz

### 数据集概览

本语料库为博恩霍尔姆语（Bornholmsk）提供了自然语言处理资源与工具。博恩霍尔姆语是丹麦博恩霍尔姆岛使用的方言，起源于丹麦语，与斯科安语（Scanian）亲缘关系密切。

博恩霍尔姆语版本简介：本文旨在为博恩霍尔姆语提供自然语言处理资源与工具，该语言通行于博恩霍尔姆岛，根植于丹麦语，与斯科安语同属一个语言家族。

更多细节请参阅论文《Bornholmsk Natural Language Processing: Resources and Tools》（https://aclanthology.org/W19-6138/）。

### 支持任务与排行榜

无相关内容

### 语言说明

博恩霍尔姆语，丹麦语的一种方言，通行于博恩霍尔姆岛。BCP47语言标签：`da-bornholm`

## 数据集结构

### 数据实例

共13169行文本，包含175167个单词，总大小为801 KB。

### 数据字段

`id`：句子编号，类型为整数（int）
`text`：博恩霍尔姆语文本，类型为字符串（string）

### 数据划分

单一整体，无数据划分

## 数据集构建

### 构建初衷

尽可能收集所有可获取的数字化博恩霍尔姆语语料。

### 源数据

#### 初始数据收集与标准化

数据来源于多个渠道，详见论文。来源包括诗歌、歌曲、丹麦语译稿、民间故事以及词典条目。

#### 源语言创作者

指使用博恩霍尔姆语进行创作或将作品译为丹麦语的博恩霍尔姆语母语使用者。本数据集的大量语料来自博恩霍尔姆岛本地的母语使用者志愿者社区，旨在保护这一濒危语言。

### 注释信息

#### 注释流程

无注释流程

#### 注释者

无注释者

### 个人与敏感信息

目前未知是否包含此类信息，但根据源材料来看，存在此类信息的风险较低。

## 数据集使用注意事项

### 数据集社会影响

本数据集旨在数字化保存博恩霍尔姆语，并为自然语言处理系统提供与该语言交互的途径，同时有望激发学界与公众对这一濒危语言的关注。

### 偏倚讨论

[需补充更多信息]

### 其他已知局限性

[需补充更多信息]

## 附加信息

### 数据集维护者

本博恩霍尔姆语语料库由莱昂·德钦斯基（Leon Derczynski）与亚历克斯·斯皮德·克耶尔森（Alex Speed Kjeldsen）维护。

### 许可信息

知识共享署名4.0（Creative Commons Attribution 4.0）

### 引用信息

@inproceedings{derczynski-kjeldsen-2019-bornholmsk,
title = "Bornholmsk Natural Language Processing: Resources and Tools",
author = "Derczynski, Leon and
Kjeldsen, Alex Speed",
booktitle = "Proceedings of the 22nd Nordic Conference on Computational Linguistics",
month = sep # "{--}" # oct,
year = "2019",
address = "Turku, Finland",
publisher = {Link{"o}ping University Electronic Press},
url = "https://aclanthology.org/W19-6138",
pages = "338--344",
}

原始信息汇总

数据集概述

数据集总结

• 语言: Bornholmsk，一种在Bornholm岛上使用的丹麦语变体，bcp47代码为da-bornholm。
• 目的: 引入处理Bornholmsk语言的自然语言处理资源和工具。
• 详细信息: 数据集包含13169行，175167个单词，总大小为801 KB。

支持的任务

• 任务类别: 文本生成
• 任务ID: 语言建模

数据集结构

• 数据实例: 包含13169行数据。
• 数据字段:
  • id: 句子ID，整数类型。
  • text: Bornholmsk文本，字符串类型。
• 数据分割: 单一结构。

数据集创建

• 来源数据: 数据来源于多种渠道，包括诗歌、歌曲、丹麦语翻译、民间故事和词典条目。
• 语言生产者: 母语为Bornholmsk的本地人，他们用母语创作或将其翻译成丹麦语。
• 注释: 无注释。

使用数据注意事项

• 社会影响: 旨在数字化捕捉Bornholmsk语言，为自然语言处理系统提供交互方式，并可能激发对该语言的兴趣。
• 偏见讨论: 信息不足。
• 其他已知限制: 信息不足。

附加信息

• 数据集管理员: Leon Derczynski和Alex Speed Kjeldsen。

• 许可信息: 知识共享署名4.0国际许可。

• 引用信息:

  @inproceedings{derczynski-kjeldsen-2019-bornholmsk, title = "Bornholmsk Natural Language Processing: Resources and Tools", author = "Derczynski, Leon and Kjeldsen, Alex Speed", booktitle = "Proceedings of the 22nd Nordic Conference on Computational Linguistics", month = sep # "{--}" # oct, year = "2019", address = "Turku, Finland", publisher = {Link{"o}ping University Electronic Press}, url = "https://aclanthology.org/W19-6138", pages = "338--344", }

搜集汇总

数据集介绍

构建方式

在濒危语言数字化的宏大背景下，Bornholmsk数据集的构建源自对博恩霍尔姆岛本土语言——一种与丹麦语同源且与斯堪尼亚语密切相关的语言变体——的抢救性记录。该数据集通过广泛搜集诗歌、歌曲、丹麦语翻译文本、民间故事及词典条目等多种来源的语料，汇集了社区内母语者志愿贡献的珍贵语言材料。最终形成了包含13,169个句子、逾17.5万词、总容量801KB的单一语料库，旨在为自然语言处理系统提供与这种濒危语言交互的基础。

使用方法

数据集以简洁的JSON Lines格式呈现，每条记录包含整型ID与文本字符串两个字段，便于直接加载与处理。在应用中，研究者可将其直接用于文本生成任务的语言模型预训练或微调，通过无监督学习捕捉博恩霍尔姆语的统计规律与语言模式。鉴于其单块划分的结构，使用者需自行划分训练与验证集，并注意在模型评估时充分考虑语料规模有限所带来的泛化挑战。

背景与挑战

背景概述

在自然语言处理领域，低资源语言与濒危语言的数字化生存正面临严峻挑战。Bornholmsk语是丹麦博恩霍尔姆岛的一种区域性语言变体，与丹麦语和斯堪尼亚语有着深厚渊源，然而随着全球化进程的推进，其使用群体日益萎缩，语言活力持续衰退。为挽救这一濒危语言，Leon Derczynski与Alex Speed Kjeldsen于2019年创建了该数据集，旨在为Bornholmsk语构建首个完整的自然语言处理资源与工具。该数据集通过收集诗歌、歌曲、民间故事、词典条目及丹麦语翻译文本等多种来源，汇聚了约17.5万词、1.3万余句的语料，为语言建模任务提供了基础支撑。这一开创性工作不仅填补了北欧低资源语言研究的空白，更对濒危语言保护与计算语言学交叉领域产生了重要示范效应，激发了学界对极小众语言数字化保护的关注。

当前挑战

该数据集面临的核心挑战首先源于Bornholmsk语自身的濒危属性——缺乏大规模、高质量的电子化语料，导致模型训练数据极为稀缺，语言建模任务难以获得充足的统计信号。构建过程中，研究人员需从分散的诗歌、翻译文本、民间故事等非标准化来源中手动收集与规范化语料，且依赖岛上母语者社群的自愿贡献，数据采集效率与一致性难以保证。此外，该语言缺乏标注资源与统一拼写规范，无任何人工标注信息可用，使得模型在无监督或自监督学习范式下需应对高度噪音与变体，进一步加剧了语言建模的难度。这些挑战共同构成了低资源濒危语言自然语言处理研究的典型困境。

常用场景

经典使用场景

该数据集专为低资源语言的文本生成与语言建模任务而构建，尤其适用于方言或濒危语言的神经语言模型预训练。它收录了博恩霍尔姆语（Bornholmsk）的诗歌、歌曲、民间故事及词典条目等多样文本，为捕捉该语言独特的形态句法特征提供了宝贵语料。研究者可借助此数据集训练自回归或掩码语言模型，从而生成符合博恩霍尔姆语语法规范的文本，或评估模型对斯堪的纳维亚方言变体的理解能力。

解决学术问题

博恩霍尔姆语作为丹麦语的一种濒危方言变体，长期面临数字化语料匮乏与自然语言处理资源空白的困境。该数据集系统性地汇集了散落于各类媒介的文本，首次为计算语言学领域提供了规模达17.5万词的标准化语料，解决了低资源语言在语言建模任务中数据稀疏性与标注缺失的难题。其意义在于验证了跨方言迁移学习的可行性，并为濒危语言数字化保护提供了方法论范本，推动了多语种平等发展的学术理念。

实际应用

在实际应用中，该数据集可支撑博恩霍尔姆语的智能输入法开发、方言语音识别系统的语言模型增强，以及面向文化遗产的数字档案自动转录与翻译工具。例如，基于该数据训练的语言模型能够辅助生成博恩霍尔姆语新闻摘要或社交媒体内容，促进该语言在数字空间的日常使用。此外，它还可集成至教育平台，为语言学习者提供语法纠错与文本续写功能，助力濒危语言的代际传承。

数据集最近研究

最新研究方向

该数据集聚焦于濒危语言博恩霍尔姆语（Bornholmsk）的自然语言处理资源构建与工具开发，属于低资源语言建模的前沿方向。随着全球化冲击下语言多样性保护意识的觉醒，学术界对濒危语言的数字化记录与计算分析日益重视。该数据集汇集了诗歌、歌曲、民间故事及词典条目等多元文本，旨在为语言模型训练提供基础语料，从而推动该方言的自动生成、机器翻译及文化传承研究。其意义在于，不仅为北欧语言生态的数字化保存开辟了新路径，更通过社区协作模式，为全球濒危语言NLP研究提供了可复用的方法论范本，助力缓解语言灭绝危机。