PleIAs/Dutch-PD

Dutch Public Domain（荷兰公共领域）数据集是一个大规模的荷兰语公共领域文本集合，旨在汇集所有荷兰语的专著和期刊。截至2024年3月，它是最大的荷兰语开放语料库。该数据集包含186亿个单词，约176,000本书和540,000种期刊，主要来源于荷兰文化遗产图书馆Delpher和Internet Archive。每个parquet文件包含随机选择的2,000本书的全文。数据集遵循欧盟公共领域作品的版权规定，所有内容均为公共领域，可以自由使用和重新发布。该数据集主要用于训练大型语言模型，并具有科学、法律、文化和经济等多方面的创建理由。未来计划包括扩展数据集、纠正OCR错误以及改进文本结构。

原始信息汇总

数据集概述

数据集名称

Dutch-Public Domain 或 Dutch-PD

数据集描述

• 规模: 包含18.6亿个单词，约176,000本书籍和约540,000期期刊。
• 内容: 主要为荷兰公共领域的书籍和期刊。
• 来源: 主要来自荷兰文化遗图书馆Delpher和Internet Archive。

数据集构成

• 文件格式: 每个parquet文件包含随机选择的2,000本书的全文。

数据集选择标准

• 遵循欧盟及Berne国家对公共领域作品的定义，即作者去世超过70年的出版物。
• 仅包含1884年前的出版物，未来计划扩展至19世纪末至20世纪中叶的出版物。

数据集用途

• 用于大型语言模型的训练，支持无限制的再发布以促进可重复性研究。

许可证

• 整个数据集处于公共领域，无版权限制。

未来发展

• 计划扩展数据集覆盖至19世纪末至20世纪中叶的出版物。
• 将修正文本中的计算机生成错误，并改进文档的结构和编辑呈现。