aaaad1/banned-historical-archives

和谐历史档案馆数据集包含已录入和未录入的原始文件，主要分为已录入网站的原始数据和未录入的文件两部分。数据集还包括多个报纸和图片资料的单独仓库，如参考消息、人民日报、文汇报等，部分已精选重要文章录入。数据集总文件大小超过4TB，使用时需注意磁盘空间。

The Banned Historical Archives Datasets contain original files that have been recorded and those that have not yet been recorded. The dataset is divided into two parts: the original data recorded on the website and the files not yet recorded. The dataset also includes separate repositories for various newspapers and image materials, such as Reference News, Peoples Daily, Wen Wei Po, etc., with some having selected important articles recorded. The total file size of the dataset exceeds 4TB, so disk space should be considered when using it.

搜集汇总

数据集介绍

构建方式

和谐历史档案馆数据集（banned-historical-archives）是一个系统化收录特定历史时期文献与影像资料的综合性数据集。其构建方式基于已建成的网站平台（https://banned-historical-archives.github.io）与尚未录入的原始文件。数据集内部采用清晰的目录组织架构，将已录入数据存放于主仓库的“raw”和“config”子目录中，而未录入的资料则归类于“todo”文件夹。此外，针对报纸、图片等不同媒介类型的资料，该数据集还设立了多个独立的子仓库，如“参考消息”、“人民日报”、“文革照片”等，以分类存储的方式提升数据管理的精细度与可扩展性。整体上，该数据集通过社区贡献与Git工具上传相结合的模式持续扩充内容，并以审核机制保障数据质量。

使用方法

使用该数据集时，用户首先需注意其庞大的存储需求，建议在克隆仓库前确保磁盘空间充足，并可利用`git clone --depth 1`参数仅拉取最新版本以加速下载。对于已录入的数据，可直接从主仓库的“raw”目录或对应子仓库中获取原始文件，部分资料按主题或时间分类存放，便于定点检索。若用户希望贡献新资料，少量文件可通过HuggingFace网页直接上传至“todo”目录，大量文件则推荐使用Git工具提交，并联系社区进行审核。此外，数据集鼓励通过GitHub Issue流程参与资料上传与校正，其中包含自动化OCR支持，提高了用户交互的便捷性与数据加工的效能。

背景与挑战

背景概述

和谐历史档案馆数据集（Banned Historical Archives Datasets）是围绕历史文献数字化保存与开放获取而构建的大规模语料库，由社区驱动的banned-historical-archives项目于近年发起，旨在系统性地收录、整理与分发那些因政治、社会或技术原因而难以获取的历史资料。该数据集整合了包括《参考消息》《人民日报》《文汇报》等数十种重要报刊、图像档案及司法文书，文件总量超过4TB，覆盖20世纪中国社会变迁的多元记录。其核心研究问题聚焦于历史信息的可访问性与完整性保护，尤其关注被审查或边缘化的文献遗产的数字化复原与传播。作为开放数据领域的典型案例，该数据集有效推动了数字人文研究中对非主流历史叙述的实证分析，并为跨学科的历史重构提供了珍贵的基础资源。

当前挑战

该数据集面临多重挑战。在领域问题层面，所解决的痛点在于历史文献因审查机制、存储损耗或地域限制而面临不可逆的湮灭风险，而现有的数字档案馆多受版权或机构政策约束，难以实现大规模、低门槛的开放共享。在构建过程中，海量异构原始文件的采集与结构化处理构成显著困难，数据集包含数十种出版物的扫描件、图片及OCR文本，需借助社区众包完成分类、去重与格式统一；同时，总量超过4TB的数据仓储对存储与传输提出高要求，克隆仓库时默认需下载完整commit历史，增加了带宽与本地资源的消耗。此外，资料的法律合规性审核与多语言注释的标准化亦是持续挑战，依赖社区协作机制的有效运转。

常用场景

经典使用场景

和谐历史档案馆数据集以浩如烟海的近现代中文历史文献为基石，涵盖了从清末民初的画报、漫画，到新中国成立后的党报、地方报纸、杂志及司法文书等诸多类别。其经典使用场景在于为历史学、文献学与数字人文学科提供全景式的结构化数据源，研究者可藉此系统性地开展意识形态变迁、舆论导向演变以及社会文化风貌的纵深分析。此外，依托其跨越半个世纪的时间跨度，该数据成为探究特定历史时期集体记忆、权力话语体系与民众生活图景之间复杂互构关系的珍贵材料。

解决学术问题

在学术界，该数据集首要解决了因资料分散及获取限制导致的近现代史研究碎片化难题，弥合了官方档案与民间记载之间的认知鸿沟。它使得跨越历史分期的长时段定量与定性研究成为可能，例如通过分析《人民日报》与《参考消息》等核心报刊，揭示不同历史阶段国家叙事与民间思潮的互动模式。同时，该数据为验证媒体失语、信息管制的宏观效应及文化符号的再生产机制等社科假说提供了坚实证据，极大推动了批判性历史社会学的实证研究。

实际应用

在实际应用层面，和谐历史档案馆数据集为传媒、出版及社会研究机构提供了丰富的训练素材，可用于开发具备历史语境理解能力的自然语言处理模型。例如，通过构建智能化检索与知识图谱系统，帮助学者快速定位特定历史事件的多源叙述，提升文献综述与史实勘校的效率。同时，该数据在文化遗产数字化保护领域亦有重要价值，为濒危历史文献的抢救性存档、OCR文字识别优化以及多语种历史字典编纂提供了规范化的原始语料。

数据集最近研究

最新研究方向

该数据集聚焦于中国近现代历史珍稀文献的数字化抢救与开放获取，涵盖《人民日报》《参考消息》等百余种报刊及文革图像、民国漫画等敏感内容，前沿研究正围绕历史档案的完整性重建与计算语言学展开。当前学界热点在于利用OCR与NLP技术解析这些被选择性封存的史料，挖掘集体记忆断层中的微观叙事，尤其关注文革时期宣传话语的嬗变规律。数据集以超4TB体量打破资源壁垒，不仅为数字人文提供罕见的对照样本，更在意识形态分析、历史社会学等领域催生交叉研究，对重估官方叙事与民间记忆的张力具有范式意义。