biglam/blbooks-parquet

该数据集是由大英图书馆与微软合作数字化的书籍集合，主要包含18世纪和19世纪的书籍，但也包括少量更早期的书籍。数据集涵盖了广泛的主题领域，如地理、哲学、历史、诗歌和文学，并以多种语言出版。数据集包含约2500万页的文本，总计约76.7亿字。数据集的结构包括多个配置，每个配置包含不同的时间段，如1500-1899、1510-1699、1700-1799等。每个配置的数据字段包括记录ID、日期、标题、出版地、文本内容、页码、OCR质量等。数据集支持的任务包括语言模型训练和掩码语言建模等。

原始信息汇总

数据集概述

基本信息

• 名称: British Library Books
• 语言: 多语言（de, en, es, fr, it, nl）
• 许可证: cc0-1.0
• 多语言性: 多语言
• 大小: 100K<n<1M
• 来源数据集: blbooks
• 任务类别: text-generation, fill-mask, other
• 任务ID: language-modeling, masked-language-modeling
• 美观名称: British Library Books
• 标签: digital-humanities-research

数据结构

• 特征:

  • record_id: string
  • date: timestamp[s]
  • raw_date: string
  • title: string
  • place: string
  • empty_pg: bool
  • text: string
  • pg: int32
  • mean_wc_ocr: float32
  • std_wc_ocr: float64
  • name: string
  • all_names: string
  • Publisher: string
  • Country of publication 1: string
  • all Countries of publication: string
  • Physical description: string
  • Language_1: string
  • Language_2: string
  • Language_3: string
  • Language_4: string
  • multi_language: bool

• 分割:

  • train
    • 配置 1500_1899:
      • num_bytes: 30452067039
      • num_examples: 14011953
      • download_size: 10486035662
      • dataset_size: 30452067039
    • 配置 1510_1699:
      • num_bytes: 107667469
      • num_examples: 51982
      • download_size: 42320165
      • dataset_size: 107667469
    • 配置 1700_1799:
      • num_bytes: 267117831
      • num_examples: 178224
      • download_size: 95137895
      • dataset_size: 267117831
    • 配置 1700s:
      • num_bytes: 266382657
      • num_examples: 178224
      • download_size: 95137895
      • dataset_size: 266382657
    • 配置 1800_1899:
      • num_bytes: 30077284377
      • num_examples: 13781747
      • download_size: 10348577602
      • dataset_size: 30077284377
    • 配置 1800s:
      • num_bytes: 30020434670
      • num_examples: 13781747
      • download_size: 10348577602
      • dataset_size: 30020434670
    • 配置 all:
      • num_bytes: 30394267732
      • num_examples: 14011953
      • download_size: 10486035662
      • dataset_size: 30394267732
    • 配置 default:
      • num_bytes: 30451982919
      • num_examples: 14011953
      • download_size: 16402835443
      • dataset_size: 30451982919

搜集汇总

数据集介绍

构建方式

该数据集源自大英图书馆与微软合作开展的书籍数字化项目，涵盖了约2500万页已进入公共领域的文本。原始数据通过光学字符识别（OCR）技术将扫描页面转化为机器可读文本，并保留了每页的OCR置信度分数。数据集以Parquet格式存储，避免了运行复杂脚本的繁琐过程，显著提升了加载效率。数据按出版年代划分为多个子集，包括1500-1899年、1510-1699年、1700-1799年、1800-1899年以及全量集合，每个子集均包含丰富的元数据字段，如记录标识符、出版日期、标题、出版地、语言信息、OCR质量指标及物理描述等，为研究者提供了灵活的子集选择能力。

特点

该数据集的核心特色在于其深厚的历史纵深与多语言特性。文本时间跨度从16世纪延伸至19世纪末，覆盖了英语、法语、德语、西班牙语、意大利语、荷兰语等数十种语言，其中英语文本占比最高，达千万页级别。元数据的丰富性令人瞩目，包括出版日期、地点、国家、语言、OCR置信度均值与标准差等字段，为时间序列分析、语言演变研究及OCR质量评估提供了坚实的数据基础。值得注意的是，数据集内嵌的OCR置信度分数揭示了不同历史时期文本质量的显著差异——早期文本因印刷技术局限与年代久远，平均置信度较低，而19世纪文本则表现出更高的识别准确性，这一特征为研究者筛选高质量子集或探究OCR误差模式提供了便利。

使用方法

该数据集主要面向语言模型训练与监督学习任务。对于语言建模，研究者可根据时间范围（如18世纪或19世纪子集）、特定语言（如德语或法语）或OCR质量阈值进行子集筛选，以探究历史文本对模型性能的影响。元数据中的语言、出版地及物理描述等字段可被用作监督学习的标签，用于训练分类模型预测文本属性。在技术实现上，借助HuggingFace的datasets库，用户可通过指定配置名称（如'1500_1899'或'all'）快速加载对应子集，并利用已有的训练集划分直接进行模型训练与评估。数据集无额外标注，但元数据本身即构成丰富的弱监督信号，适合用于迁移学习与多任务场景。

背景与挑战

背景概述

大英图书馆书籍数据集（British Library Books）是由大英图书馆与微软合作数字化的一批珍贵历史文献，其创建时间可追溯至双方合作项目启动之初，主要研究机构为大英图书馆数字化学术团队。该数据集收录了约2500万页已进入公共领域的书籍文本，时间跨度从16世纪至19世纪末，涵盖地理、哲学、历史、诗歌与文学等多个学科领域，语种包括英语、法语、德语、西班牙语等数十种语言。作为数字人文研究领域的重要基石，该数据集为历史语言学、计算文学与文化演化分析提供了前所未有的规模化语料资源，尤其支持基于特定时间切片、语言类别或OCR质量阈值的语言模型训练与跨时代知识迁移研究，对推动历史文本的自动化分析与文化遗产的数字化保护产生了深远影响。

当前挑战

该数据集面临的核心挑战首先源于光学字符识别（OCR）技术对历史文本的转录误差。由于早期印刷技术的局限、书籍物理损伤以及扫描过程中的畸变，OCR产生的文本包含大量字符级与词级错误，且置信度随出版年代递增呈现显著差异，15至16世纪页面的平均OCR置信度不足60%，严重制约了依赖精确文本的下游任务。其次，数据集的语言标注存在不确定性，部分语种标签通过计算方法自动推导，可能引入分类偏差，而多语种书籍的混合特征进一步增加了语言建模的复杂性。此外，构建过程中需处理海量元数据的归一化，例如将非标准化的出版日期转换为统一时间戳，以及协调不同来源的目录描述，这些步骤均需在保持历史语境完整性的前提下进行，对数据清洗与质量控制提出了极高要求。

常用场景

经典使用场景

在数字人文与计算语言学的研究版图中，英国图书馆书籍数据集（British Library Books）以其跨越四个世纪的宏大时间跨度与多语种文本资源，成为训练历史语言模型的基石性语料。该数据集收录了约25,000页、总计超过76.7亿词的公共领域书籍，涵盖英语、法语、德语等三十余种语言。研究者常利用其按年代划分的子集（如1500-1699、1700-1799、1800-1899），针对特定历史时期进行语言模型预训练，从而捕捉语言在数百年间的动态演变规律，并探索OCR噪声对模型性能的影响机制。

衍生相关工作

该数据集催生了一系列开创性研究，尤其在历史语言模型领域。代表性的工作包括利用其训练跨时间维度的BERT变体（如HistBERT），通过对比不同年代子集上的掩码语言建模损失，量化英语词汇语义漂移的程度。另一经典方向是结合OCR置信度进行噪声鲁棒预训练，例如开发基于置信度加权的掩码策略，有效缓解历史文本中常见的光学识别错误。此外，研究者基于其多语种特性构建了跨语言历史词向量，对比分析德语与法语在19世纪科学术语借用模式上的异同，为历史语言学提供了计算实证。

数据集最近研究

最新研究方向

在数字人文与计算语言学交叉领域，biglam/blbooks-parquet数据集正引领一项前沿探索：基于历史多语种语料库的跨时空语言模型构建与评估。该数据集囊括了大英图书馆约25,000页18至19世纪无版权文本，覆盖英、法、德等30余种语言，并附有出版日期、地点、OCR置信度等丰富元数据。当前研究热点聚焦于利用这些时间戳与OCR质量分数，系统性地探究语言变迁对预训练模型性能的影响——例如，模型在16世纪古英语与19世纪现代英语上的泛化能力差异，以及OCR噪声如何扭曲历史文本的语义表征。这一方向不仅推动了面向低资源历史语言的鲁棒性NLP技术发展，更为文化演化分析、历史知识图谱构建提供了可量化的数据基础，其影响力已辐射至数字图书馆学与文化遗产计算领域。