chat-jfk

Chat JFK 数据集是一个将美国国家档案馆约翰·F·肯尼迪总统暗杀记录收藏中的PDF文件转换为Markdown格式的文本数据集。该数据集由Brian Shumate策划，旨在为教育和信息用途提供结构化的历史文档资源。原始来源为美国国家档案馆发布的JFK暗杀记录批量下载文件，涵盖2017年7月至2025年期间发布的29个ZIP文件，总原始PDF数据量约63GB。这些PDF文件通过MinerU工具处理，转换为包含一些内联HTML元素的Markdown格式文本文件。数据集规模属于“10K<n<100K”类别，语言为英语，采用CC0许可证。适用于多种用途，包括模型微调与训练、检索增强生成（RAG）等增强应用，以及作为图或时间序列数据的元素来源。此外，它还可用于创意练习，如构建时代背景的代理调查报道环境，或通过文本转语音模型生成音频日志、播客等内容。数据集内容为美国政府发布的历史性公共领域信息，但需注意数据集不保证100%准确或完整，用户应自行进行适用性评估。禁止将数据集用于不道德、非法活动或训练提供法律建议的对话代理。

The Chat JFK dataset is a text dataset that converts PDF files from the National Archives collection of President John F. Kennedy assassination records into Markdown format. Curated by Brian Shumate, it aims to provide structured historical document resources for educational and informational purposes. The original source is the bulk download files of JFK assassination records released by the National Archives, covering 29 ZIP files published between July 2017 and 2025, with a total original PDF data volume of approximately 63GB. These PDF files are processed using the MinerU tool and converted into Markdown format text files containing some inline HTML elements. The dataset scale falls into the 10K<n<100K category, is in English, and uses the CC0 license. It is suitable for various applications, including model fine-tuning and training, enhanced applications like Retrieval-Augmented Generation (RAG), and as a source for graph or time-series data. Additionally, it can be used for creative exercises, such as building agent investigation reporting environments with period context or generating audio logs, podcasts, etc., via text-to-speech models. The dataset content consists of historical public domain information released by the U.S. government, but it does not guarantee 100% accuracy or completeness; users should conduct their own suitability assessments. The dataset is prohibited from being used for unethical, illegal activities or training conversational agents that provide legal advice.

原始信息汇总

数据集概述：Chat JFK

Chat JFK 数据集是将美国国家档案馆发布的约翰·F·肯尼迪总统暗杀记录档案集中的 PDF 文件转换为 Markdown 格式文本的集合。

基本信息

• 名称: Chat JFK
• 语言: 英语
• 许可证: CC0-1.0（公共领域）
• 整理者: Brian Shumate
• 大小: 10K < n < 100K（文件数量）
• 标签: public_domain,

数据来源

原始 PDF 文件源自美国国家档案馆的 JFK Assassination Bulk Download Files，基础下载地址为：https://www.archives.gov/files/research/jfk/releases/zip/。共包含 29 个 ZIP 文件，总大小约 63 GB。具体批次及大小如下：

• 2017年7月24日和10月26日发布 (7.8 GB): jfk-pdf1.zip (2.9 GB), jfk-pdf2.zip (2.4 GB), jfk-pdf3.zip (2.5 GB)
• 2017年11月3日发布 (2.6 GB): jfk20171103.zip
• 2017年11月9日发布 (3.2 GB): jfk20171109.zip
• 2017年11月17日发布 (3.7 GB): jfk2017111710.zip
• 2017年12月15日发布 (6.1 GB): jfk20171215a.zip (2.0 GB), jfk20171215b.zip (2.2 GB), jfk20171215c.zip (1.9 GB)
• 2018年4月26日发布 (10.81 GB): 包含 jfk201804a.zip 至 jfk201804j.zip 共10个文件，大小从 923 MB 到 1.3 GB 不等
• 2021年12月15日发布 (1.2 GB): jfk2021.zip
• 2022年12月15日发布 (12.7 GB): jfk2022.zip
• 2023年4月13日发布 (339 MB): jfk2023a.zip
• 2023年4月27日发布 (343 MB): jfk2023b.zip
• 2023年5月11日发布 (554 MB): jfk2023c.zip
• 2023年6月13日发布 (238 MB): jfk2023d.zip
• 2023年6月27日发布 (4.2 GB): jfk2023e.zip
• 2023年8月24日发布 (74 MB): jfk2023f.zip
• 2025年发布 (8.5 GB): jfk2025a.zip (5.2 GB), jfk2025b.zip (3.3 GB)

注意：ZIP 文件中也包含 WAV 音频文件，但未被纳入本数据集。

数据集用途

• 直接用途:
  • 模型微调或训练
  • 增强检索应用（如 RAG）
  • 图数据或时间序列数据的数据源
• 禁止用途: 不得用于任何不道德或非法活动，不得用于训练提供法律建议的对话代理。

数据结构

数据为 Markdown 格式的文本文件，部分包含内联 HTML 元素。

创建过程

使用 MinerU 工具在单块 NVIDIA RTX 3090 Founders Edition GPU 上对 PDF 集合进行处理，生成的 Markdown 文件被收集并上传。部分文件夹因每文件夹 10,000 个文件限制而被拆分为两部分。

偏见、风险与限制

• 本数据集仅供教育用途。
• 不保证 100% 准确或完整，使用者需自行评估适用性并承担风险。
• 整理者不对任何使用或误用导致的后果负责。

联系信息

• 整理者: Brian Shumate
• 网站: https://brianshumate.com/
• Hugging Face: https://huggingface.co/brianshumate
• GitHub: https://github.com/brianshumate

引用

数据集卡片中引用了 MinerU 系列及其相关论文（包括 arXiv:2604.04771、arXiv:2603.22458、arXiv:2509.22186、arXiv:2409.18839、arXiv:2407.13773），详见原始 README。

搜集汇总

数据集介绍

构建方式

Chat JFK数据集源自美国国家档案馆发布的约翰·F·肯尼迪总统遇刺记录收藏，从官方批量下载文件中提取约63GB的PDF档案。数据集构建者Brian Shumate利用MinerU开源工具在单张NVIDIA RTX 3090 GPU上对这批PDF进行解析与转换，生成结构化的Markdown格式文本文件。处理后的Markdown文件被收集整理，并因每文件夹文件数限制，部分子目录被划分为两部分以保持原始命名结构。最终，该数据集以CC0公共领域许可协议发布，旨在为历史档案的数字化利用提供开放资源。

特点

该数据集涵盖从2017年至2025年间多次发布的29个ZIP压缩包，总计超过6万份历史文档，内容涉及肯尼迪遇刺事件的调查报告、备忘录、通信记录等。所有文件均以Markdown格式呈现，并保留了部分内联HTML元素，确保文本可读性与结构化。数据集完全来源于美国政府公开的公共领域信息，不包含敏感个人数据，专为教育与研究用途设计。其庞大规模与多批次发布特性，为时间序列分析、图数据构建及检索增强生成等应用场景提供了丰富素材。

使用方法

数据集可直接用于大语言模型的微调与训练，或作为检索增强生成系统中的知识源。用户可通过文件路径访问各Markdown文本，结合文本嵌入与向量检索工具实现信息查询与关联。此外，数据适宜被整合至图数据库或时间序列分析管道中，用于历史事件脉络挖掘。数据亦可供给文本转语音模型生成音频内容，或驱动智能体模拟历史调查场景。需注意，数据集不保证100%准确性，使用者应在自行验证后合理应用，并不应用于提供法律建议等不当场景。

背景与挑战

背景概述

Chat JFK数据集诞生于2024年，由工程师兼业余研究员Brian Shumate独立策划构建，旨在将美国国家档案馆发布的约翰·F·肯尼迪遇刺案档案记录（JFK Assassination Records Collection）中的海量PDF文档转化为结构化的Markdown文本格式。该数据集囊括了自2017年至2025年间13批次、总计约63GB的解密文件，覆盖了调查、情报、外交等多维度历史材料，为自然语言处理、信息检索与史学研究提供了高价值的开放语料。其核心贡献在于打破了原始PDF格式的访问壁垒，使研究者能够利用现代AI工具对这批敏感而复杂的历史记录进行批量分析、关联挖掘与知识图谱构建，在公共档案数字化与AI辅助历史研究领域引发了广泛关注。

当前挑战

该数据集面临的核心挑战在于多层面。首先，在领域问题层面，原始档案以扫描版PDF形式存在，包含手写笔记、模糊复印、多栏排版及复杂表格等OCR难点，且部分文件质量极低，直接影响了文本转化精度与后续分析的可信度。其次，在构建过程中，高达63GB的数据需依赖单张NVIDIA RTX 3090显卡通过MinerU工具进行解析，面临计算资源瓶颈与处理时长问题；同时，跨批次文件的格式差异（如某些ZIP包破损或缺失）要求繁琐的校验与补全流程，而HuggingFace平台每个文件夹10000文件的限制则迫使手动拆分目录结构，增加了数据管理的复杂度。此外，数据集明确声明不保证100%准确性与完整性，用户需自行评估风险，这对其在严谨学术场景中的直接应用构成了显著限制。

常用场景

经典使用场景

Chat JFK数据集将美国国家档案馆发布的约翰·F·肯尼迪总统遇刺案相关解密文件，从PDF格式转换为结构清晰的Markdown文本。在历史研究与自然语言处理交叉领域，该数据集最经典的用途在于为大规模语言模型提供微调与检索增强生成（RAG）所需的优质语料。研究者能够利用这些经过清洗和格式化的文本，训练模型理解并回应与肯尼迪遇刺事件相关的复杂历史叙事，从而探索AI在解读原始史料方面的潜力。

实际应用

在实际应用中，Chat JFK数据集展现出多样化的落地场景。教育工作者可以基于该数据集构建交互式学习工具，使学生能够以对话或问答的形式探索历史档案。内容创作者与新闻工作者可利用其生成符合历史背景的音频期刊或叙事报告，而文本转语音（TTS）模型则可基于这些文本生成具有沉浸感的音频内容。此外，该数据集还适用于构建专门的历史智能体，进行诸如年代背景下的模拟调查报道等创造性实践。

衍生相关工作

该数据集衍生出的相关工作主要围绕文档解析与信息提取技术的进步展开。其制作过程依赖的MinerU系列工具链，催生了如《MinerU: An Open-Source Solution for Precise Document Content Extraction》等论文，未来研究者亦可在此基础上开发更高效的文档解析模型。此外，结合大语言模型与Agent工作流，可以产生诸如自动关联证据链、生成历史事件时间线等创新性研究。这些工作进一步拓展了将庞杂历史档案转化为结构化、可交互知识图谱的边界。