TheBritishLibrary/blbooks

该数据集包含由大英图书馆与微软合作数字化的书籍，涵盖了18世纪和19世纪的大量文本，以及少量早期书籍。数据集支持多种任务，如语言模型训练和监督任务，并提供了丰富的元数据，如出版日期、出版地点、语言等。数据集是多语言的，主要包括英语、法语、德语等。数据集通过光学字符识别（OCR）技术生成文本，因此可能存在一些识别错误。

This dataset comprises books digitized through a collaboration between the British Library and Microsoft, encompassing a vast collection of texts from the 18th and 19th centuries alongside a small quantity of early publications. It supports a wide range of tasks such as language model training and supervised learning tasks, and provides rich metadata including publication date, place of publication, language and other relevant information. The dataset is multilingual, primarily including English, French, German and other languages. The texts were generated via Optical Character Recognition (OCR) technology, so there may be some recognition errors.

原始信息汇总

数据集概述

基本信息

• 名称: British Library Books
• 语言: 多语言（德语、英语、西班牙语、法语、意大利语、荷兰语）
• 许可证: CC0-1.0
• 多语言性: 多语言
• 大小: 100K<n<1M
• 来源: 原始数据

任务类别

• 文本生成
• 填充掩码
• 其他

任务ID

• 语言建模
• 掩码语言建模

数据集结构

• 特征:
  • record_id (字符串)
  • date (整数)
  • raw_date (字符串)
  • title (字符串)
  • place (字符串)
  • empty_pg (布尔值)
  • text (字符串)
  • pg (整数)
  • mean_wc_ocr (浮点数)
  • std_wc_ocr (浮点数)
  • name (字符串)
  • all_names (字符串)
  • Publisher (字符串)
  • Country of publication 1 (字符串)
  • all Countries of publication (字符串)
  • Physical description (字符串)
  • Language_1 (字符串)
  • Language_2 (字符串)
  • Language_3 (字符串)
  • Language_4 (字符串)
  • multi_language (布尔值)

数据分割

• 训练集:
  • 字节数: 30394267732
  • 示例数: 14011953
  • 下载大小: 10486035662
  • 数据集大小: 30394267732

语言分布

• 英语: 10039463页
• 法语: 1442929页
• 德语: 1172793页
• 西班牙语: 286778页
• 意大利语: 214255页
• 荷兰语: 204759页

OCR质量

• OCR错误包括字符级、单词级和文本段落级的错误。
• OCR质量受原始印刷质量、页面损坏、扫描质量和语言差异的影响。
• OCR平均单词置信度随时间和语言变化。

使用场景

• 语言模型训练
• 监督任务，如预测出版日期、地点、语言等元数据。

数据集详细信息

数据集配置

• all:
  • 特征同上
  • 训练集详情同上
• 1800s:
  • 特征同上
  • 训练集详情:
    • 字节数: 30020434670
    • 示例数: 13781747
    • 下载大小: 10348577602
    • 数据集大小: 30020434670
• 1700s:
  • 特征同上
  • 训练集详情:
    • 字节数: 266382657
    • 示例数: 178224
    • 下载大小: 95137895
    • 数据集大小: 266382657
• 1510_1699:
  • 特征同上，date类型为timestamp[s]
  • 训练集详情:
    • 字节数: 107667469
    • 示例数: 51982
    • 下载大小: 42320165
    • 数据集大小: 107667469
• 1500_1899:
  • 特征同上，date类型为timestamp[s]
  • 训练集详情:
    • 字节数: 30452067039
    • 示例数: 14011953
    • 下载大小: 10486035662
    • 数据集大小: 30452067039
• 1800_1899:
  • 特征同上，date类型为timestamp[s]
  • 训练集详情:
    • 字节数: 30077284377
    • 示例数: 13781747
    • 下载大小: 10348577602
    • 数据集大小: 30077284377
• 1700_1799:
  • 特征同上，date类型为timestamp[s]
  • 训练集详情:
    • 字节数: 267117831
    • 示例数: 178224
    • 下载大小: 95137895
    • 数据集大小: 267117831

搜集汇总

背景与挑战

背景概述

该数据集由大英图书馆与微软合作数字化，包含约2500万页已过版权期的历史书籍文本，主要来自18-19世纪，涵盖地理、哲学、历史、诗歌等多种学科。数据集支持文本生成和掩码语言建模等任务，提供多语言文本和丰富的元数据（如出版日期、地点、语言、OCR质量），但需注意文本通过OCR生成可能存在识别误差。