stefan-it/german-dbmdz-bert-corpus

---
license: cc-by-sa-3.0
language:
- de
---

# German DBMDZ BERT Corpus

This datasets includes all corpora that were used for pretraining the [German DBMDZ BERT Models](https://github.com/dbmdz/berts?tab=readme-ov-file#german-bert).

It consists of Wikipedia dump and corpora from [OPUS](https://opus.nlpl.eu/):

| Filename | Description | Creation Date | File Size |
| ------------------- | ------------------ | ------------ | --------- |
| `dewiki.txt` | Wikipedia Dump | May 2019 | 5.1GB |
| `eubookshop.txt` | OPUS EUbookshop | November 2018 | 2.2GB |
| `news.2018.txt` | OPUS News corpora | January 2019 | 4.1GB |
| `opensubtitles.txt` | OPUS OpenSubtitles | November 2018 | 1.3GB |
| `paracrawl.txt` | OPUS ParaCrawl | November 2018 | 3.1GB |

license: 知识共享署名-相同方式共享3.0协议（CC-BY-SA-3.0）
language:
- 德语

# 德国DBMDZ BERT语料库

本数据集包含用于预训练[德国DBMDZ BERT模型](https://github.com/dbmdz/berts?tab=readme-ov-file#german-bert)的全部语料。

该数据集由维基百科转储文件与来自[OPUS](https://opus.nlpl.eu/)的语料库构成，详情如下表：

| 文件名 | 描述 | 创建日期 | 文件大小 |
| -------------------- | -------------------- | ------------ | --------- |
| `dewiki.txt` | 维基百科转储文件 | 2019年5月 | 5.1GB |
| `eubookshop.txt` | OPUS EUbookshop | 2018年11月 | 2.2GB |
| `news.2018.txt` | OPUS 新闻语料库 | 2019年1月 | 4.1GB |
| `opensubtitles.txt` | OPUS OpenSubtitles | 2018年11月 | 1.3GB |
| `paracrawl.txt` | OPUS ParaCrawl | 2018年11月 | 3.1GB |

原始信息汇总

German DBMDZ BERT Corpus

数据集概述

该数据集包含用于预训练German DBMDZ BERT Models的所有语料库。

数据组成

数据集由维基百科转储和来自OPUS的语料库组成。

文件列表

文件名	描述	创建日期	文件大小
dewiki.txt	维基百科转储	2019年5月	5.1GB
eubookshop.txt	OPUS EUbookshop	2018年11月	2.2GB
news.2018.txt	OPUS News corpora	2019年1月	4.1GB
opensubtitles.txt	OPUS OpenSubtitles	2018年11月	1.3GB
paracrawl.txt	OPUS ParaCrawl	2018年11月	3.1GB

搜集汇总

数据集介绍

构建方式

该数据集是为预训练德国DBMDZ BERT模型而精心构建的德语语料库，整合了多个高质量文本来源。其核心组成部分包括2019年5月的德语维基百科数据转储，以及来自OPUS项目的一系列精选语料，涵盖2018年11月的EUbookshop、2019年1月的News corpora、2018年11月的OpenSubtitles和ParaCrawl。这些语料通过系统化的数据采集与清洗流程，被汇聚为统一的文本文件，分别以dewiki.txt、eubookshop.txt、news.2018.txt、opensubtitles.txt和paracrawl.txt命名，总规模达到约15.8GB，为德语自然语言处理模型提供了丰富且均衡的训练素材。

特点

该数据集具有显著的多源异构性与规模优势，融合了百科全书式知识、官方文献、新闻动态、影视对话及多语言平行语料，确保了语言风格的多样性和覆盖面的广泛性。各子语料库的创建时间集中在2018至2019年，保证了信息的时效性。其文件大小分布合理，从1.3GB的OpenSubtitles到5.1GB的维基百科，既包含通用领域文本也涵盖特定用途内容，为模型学习德语的词汇、语法和语义特征提供了坚实的数据基础，尤其适合用于预训练深层双向语言模型。

使用方法

该数据集可直接用于预训练德语BERT类模型，通过加载各文本文件进行无监督学习，例如利用掩码语言模型或下一句预测任务。在HuggingFace平台上，用户可通过datasets库轻松加载此数据集，指定配置如'dewiki'、'eubookshop'等子集，或合并全部语料进行训练。推荐在预处理阶段对文本进行分词、归一化及句子分割，以适应模型输入格式。此外，该数据集也可作为通用德语语料库，用于词嵌入训练、语言模型微调或其他自然语言处理任务的基线数据。

背景与挑战

背景概述

在自然语言处理领域，预训练语言模型的成功高度依赖于大规模、高质量语料库的支撑。由德国巴伐利亚州数字图书馆与媒体中心（Bayerische Staatsbibliothek, BSB）及慕尼黑大学（LMU）等机构联合发起的DBMDZ项目，专注于德语语言模型的研发。该团队于2019年前后构建了German DBMDZ BERT Corpus，旨在为德语BERT模型的预训练提供坚实的语料基础。核心语料涵盖2019年5月的德语维基百科快照，以及来自OPUS项目的欧盟图书、新闻、开放字幕和ParaCrawl等多源平行语料，总规模超过15GB。这一语料库的发布显著推动了德语自然语言处理的研究进程，为后续德语BERT系列模型的性能突破奠定了数据根基，并成为德语NLP社区广泛引用的基准资源。

当前挑战

该数据集面临的核心挑战首先在于语料构建的领域覆盖与规模平衡。德语维基百科虽为高质量通用文本，但OPUS语料中的新闻、字幕与平行语料来源多样，如何确保不同领域文本的合理配比以避免模型偏向特定风格，是预训练效果的关键。其次，构建过程中需处理多源语料的格式统一、噪声去除及编码一致性难题，例如从OPUS收集的语料包含大量对话文本与机器翻译内容，其语言质量参差不齐，需设计精细的清洗流程。此外，语料时间跨度从2018年至2019年，对于捕捉当代德语词汇与表达演变存在滞后性，模型在动态语言环境下的泛化能力仍面临考验。

常用场景

经典使用场景

该数据集汇聚了德语维基百科、欧盟图书语料库、新闻文本、开放式字幕以及ParaCrawl平行语料等多元来源，构成了一个规模宏大、领域覆盖广泛的德语文本集合。其最经典的使用场景在于作为大规模预训练语言模型的训练基石，尤其适用于从头训练诸如BERT、RoBERTa等基于Transformer架构的德语深度语言表示模型，为下游自然语言处理任务提供强大的语义初始化能力。

衍生相关工作

该数据集直接催生了德国数字图书馆（DBMDZ）发布的系列德语BERT预训练模型，这些模型在HuggingFace等平台上成为德语NLP任务的标准基线。此外，它还为后续的德语多任务学习、跨语言迁移学习以及领域自适应预训练等研究方向提供了关键的语料支撑，衍生出诸如德语法律文本理解、医学文献挖掘等专门化模型，深刻影响了德语语言技术生态的构建。

数据集最近研究

最新研究方向

在自然语言处理领域，大规模德语预训练语料库的构建与优化正成为前沿热点。stefan-it/german-dbmdz-bert-corpus数据集整合了维基百科、OPUS多语平行语料库等多源异构文本，为德语BERT模型的预训练提供了高质量、大规模的基础资源。当前研究聚焦于利用此类语料提升德语语言模型的跨领域泛化能力，尤其在机器翻译、情感分析和命名实体识别等任务中取得了显著突破。该数据集的出现不仅推动了德语NLP技术的进步，还促进了多语言模型在低资源语言上的迁移学习研究，其开源共享的特性更强化了学术与工业界的协作生态。