biglam/bnl_newspapers1841-1879

BnL Newspapers 1841-1879数据集包含了1841年至1879年间的历史报纸文章，共计630,709篇文章，涵盖了21种报纸标题，24,415期报纸，99,957页扫描内容。数据通过多种OCR引擎转录，并使用特定工具进行了校正，确保了95%以上的准确率。数据集支持文本生成和掩码语言模型任务，主要语言为德语、法语和卢森堡语。数据集的创建由卢森堡国家图书馆负责，所有数据均为公共领域，采用CC0许可证。The BnL Newspapers 1841–1879 dataset comprises historical newspaper articles spanning the years 1841 to 1879, totaling 630,709 articles across 21 newspaper titles, 24,415 newspaper issues, and 99,957 scanned pages. The data was transcribed using multiple OCR engines and corrected with specialized tools, ensuring an accuracy rate of over 95%. This dataset supports text generation and masked language modeling tasks, with the primary languages being German, French, and Luxembourgish. Developed by the National Library of Luxembourg, all data within the dataset is in the public domain and released under the CC0 license.

原始信息汇总

数据集概述

数据集名称

• BnL Newspapers 1841-1879

数据集语言

• 德语 (de)
• 法语 (fr)
• 卢森堡语 (lb)
• 荷兰语 (nl)
• 拉丁语 (la)
• 英语 (en)

数据集许可证

• CC0-1.0

数据集大小

• 100K<n<1M 文章数量

数据集任务类别

• 文本生成
• 填充掩码

数据集特征

• publisher (字符串)
• paperID (字符串)
• title (字符串)
• text (字符串)
• newpaperTitle (字符串)
• date (时间戳[ns])
• metsType (字符串)
• identifier (字符串)
• type (字符串)
• creator (字符串)

数据集结构

• 数据集分为训练集，包含 630709 个实例，总大小为 1605420260 字节。

数据集创建

• 数据集由卢森堡国家图书馆创建，作为其报纸数字化项目的一部分。
• 数据来源于历史印刷报纸，通过数字化过程生成。

数据集使用注意事项

• 数据集中的文本存在95%或更高的OCR转录质量。
• 数据集反映了报纸编辑和记者在出版时的偏见，特别是在1940/05/10至1944/09/10期间，纳粹占领者控制了所有出版信息。

数据集贡献者

• 感谢 @ymaurer 添加此数据集。

搜集汇总

数据集介绍

构建方式

该数据集由卢森堡国家图书馆基于其报纸数字化项目的产出精心构建而成。数据源为馆藏中所有于1881年及之前印刷、已进入公共领域的卢森堡法定存缴报纸，涵盖21种报纸标题、24,415期及99,957个扫描页面。数字化过程中，报纸页面经由外部供应商进行半自动区域划分以提取文章，并运用多种OCR引擎进行文字转录，随后借助NautilusOCR工具以95%的准确率阈值进行校正。最终，以JSONL格式压缩存储，每一行代表一篇文章，包含标识符、出版日期、报纸标题、文章全文等丰富元数据字段。

特点

此数据集的核心特色在于其多语言性与历史深度。文本跨越德语、法语、卢森堡语及少量拉丁语、荷兰语和英语，真实反映了19世纪卢森堡多元文化交融的社会面貌。内容涵盖新闻、广告、公告等丰富类型，忠实呈现了当时报纸编辑与记者的视角及其时代偏见。尽管OCR转录质量估计达到95%以上，但仍存在细微瑕疵，且数据集明确排除了纳粹占领期间（1940-1944）的受控信息，确保了历史材料的原始性与研究价值。

使用方法

该数据集专为自然语言处理中的语言建模与掩码语言建模任务而设计，亦适用于文本生成领域。用户可通过Hugging Face Datasets库便捷加载，默认配置下，训练集包含592,192个样本。使用时，可直接访问'text'字段获取文章全文进行预训练或微调，也可利用'language'、'date'、'type'等元数据字段进行细粒度筛选，例如针对特定语种或历史时期进行专项研究。数据采用CC0公共领域许可，可自由用于学术或商业目的。

背景与挑战

背景概述

在数字人文与历史语言学研究的交汇处，大规模历史文本语料库的构建为理解19世纪欧洲社会文化变迁提供了宝贵的数据基础。由卢森堡国家图书馆（Bibliothèque nationale du Luxembourg）于近年创建的BnL Newspapers 1841-1879数据集，收录了1841年至1881年间卢森堡境内出版的多语种报纸文章，共计59万余篇，涵盖德语、法语、卢森堡语、荷兰语、拉丁语及英语。该数据集的核心研究问题聚焦于利用光学字符识别（OCR）技术对历史报纸进行数字化转录与半自动文章区域分割，旨在为语言建模、掩码语言建模等自然语言处理任务提供高质量的多语种历史文本资源。其影响力体现在为研究19世纪欧洲新闻业、社会舆论及语言演变提供了可计算的数据支撑，推动了低资源历史语料在机器学习领域的应用。

当前挑战

该数据集面临的挑战具有双重性。在领域问题层面，历史报纸文本的OCR转录质量虽经校正达到95%的阈值，但仍存在字符识别误差，尤其对于哥特体或早期印刷字体，这可能导致下游语言模型对历史词汇与句法的建模产生偏差。此外，数据集中包含的广告、公告等非文章内容与正式新闻混杂，增加了任务特定筛选的复杂性。在构建过程中，挑战主要源于数字化管线的自动化局限：外部供应商对报纸页面的半自动区域分割无法完全避免误划分，例如将多栏标题与正文错误合并。同时，数据集的时间跨度覆盖了二战期间纳粹占领时期（1940-1944），其内容受到严格信息管控，这一历史偏见虽如实反映但需在模型训练中谨慎处理，以避免强化特定政治叙事。

常用场景

经典使用场景

该数据集汇集了1841至1881年间卢森堡国家图书馆数字化馆藏的59万余篇历史报纸文章，涵盖德语、法语、卢森堡语及少量拉丁语、荷兰语、英语等多语种文本。其最经典的应用场景在于面向历史文献的预训练语言模型构建，研究者可基于这些富含19世纪社会、政治、文化语料的OCR校正文本，开展掩码语言建模与自回归语言生成任务，从而捕捉近代欧洲多语交汇区域的词汇演变、句法特征与叙事风格。

衍生相关工作

该数据集衍生的经典工作包括基于历史报纸语料的领域语言模型微调，例如针对19世纪德语与法语混合文本的专用BERT变体训练。研究者还利用其时间序列属性开展新闻事件检测与舆论演化分析，如通过词频统计与共现网络揭示卢森堡中立政策在不同报纸中的表述差异。此外，该数据集推动了多语种OCR后处理技术的进步，部分工作将其作为基准测试集，评估非标准拼写与排版错误的校正效果。

数据集最近研究

最新研究方向

在数字人文与自然语言处理的交叉领域，biglam/bnl_newspapers1841-1879数据集凭借其涵盖19世纪中叶卢森堡多语种报纸的独特语料，正推动历史文本的语言模型预训练与OCR后校正技术的前沿探索。该数据集收录了1841至1881年间21种报纸的59万余篇全文，横跨德语、法语、卢森堡语乃至拉丁语和荷兰语，为低资源历史语言建模提供了稀缺的平行语料。近期研究聚焦于利用该数据集微调掩码语言模型，以复原因早期OCR误差而缺损的文本片段，同时结合其丰富的元数据（如出版日期、报纸标题）探索时间敏感的语义演化——例如追踪1848年革命或1870年普法战争期间舆论焦点的动态变迁。这一方向不仅提升了历史文献的数字化可读性，更通过重构19世纪卢森堡的社会话语网络，为计算历史学与多语种文化记忆研究开辟了新的实证路径。