arxiv-chandra-ocr-1000-20260329-p30

该数据集包含使用Chandra OCR 2处理的arXiv PDF文档的OCR结果。数据集以JSON格式存储，每个论文对应一个JSON对象，包含以下字段：总页数（num_pages）、实际处理的页数（num_pages_processed）、PDF是否超过页数限制（pdf_exceeds_page_limit）以及OCR运行的页数上限配置（max_pages_per_paper）。数据集规模包括27,584个源论文ID，其中成功处理了450个。数据文件以分片形式存储（data/part-*.jsonl.gz），并包含处理状态记录（state/processed_ids.txt）和汇总信息（state/summary.json）。该数据集适用于OCR相关的研究和应用场景。

原始信息汇总

arXiv OCR with Chandra OCR 2 数据集概述

数据集标识

• 数据集名称: nielsr/arxiv-chandra-ocr-1000-20260329-p30
• 输出存储桶: hf://buckets/nielsr/arxiv-chandra-ocr-1000-20260329-p30
• 标签: arxiv, ocr, chandra, chandra-ocr-2, markdown, html, hf-jobs, uv-script

处理摘要

• 输入列表中的源论文ID数量: 27,584
• state/processed_ids.txt 中记录的处理ID数量: 610
• 成功处理数: 609
• 部分成功数: 0
• 错误数: 1
• 下一个分片索引: 61
• 更新时间: 2026-03-30T14:35:34.407965+00:00

文件内容

• data/part-*.jsonl.gz: OCR结果分片，每个论文一个JSON对象。
• state/processed_ids.txt: 用于恢复的已完成论文ID。
• state/summary.json: 聚合计数和簿记信息。

每条论文记录包含

• num_pages: 源PDF的总页数。
• num_pages_processed: 实际发送给OCR处理的页数。
• pdf_exceeds_page_limit: PDF页数是否超过配置的OCR上限。
• max_pages_per_paper: 本次运行配置的OCR页面上限。

数据加载方法

python from datasets import load_dataset dataset = load_dataset("nielsr/arxiv-chandra-ocr-1000-20260329-p30", data_files="data/*.jsonl.gz", split="train")

作业配置

• 提示类型: ocr_layout
• 页面批处理大小: 16
• 最大输出令牌数: 12384
• 最大模型长度: 18000
• GPU内存利用率: 0.85
• arXiv最小请求间隔: 3.1秒
• 每篇论文发送至OCR的最大页数: 30
• 存储桶后端: hf-cli
• 分页输出: False
• 包含页眉/页脚: False

技术说明

• 该数据集使用 datalab-to/chandra-ocr-2 对arXiv PDF进行OCR处理的结果。
• 输出格式为JSONL，包含论文的paper_id和markdown等内容。

搜集汇总

数据集介绍

构建方式

在学术文献数字化处理领域，arXiv预印本库作为重要的开放获取资源，其PDF文档的文本提取是构建可检索知识库的基础。本数据集采用Chandra OCR 2模型对arXiv PDF文档进行光学字符识别处理，通过自动化流程从27,584篇论文中筛选并处理了610篇文档，其中609篇成功完成OCR转换。数据处理过程中设置了每篇论文最多处理30页的限制，并采用分片存储机制将结果保存为JSONL格式的压缩文件，确保了大规模文档处理的高效性与可恢复性。

特点

该数据集在学术文本识别领域展现出显著的技术特性，其核心在于运用先进的布局感知OCR技术，能够保留原始PDF文档的结构化信息。数据集不仅记录了每篇论文的总页数与实际处理页数，还标注了是否超出页面限制等元数据，为后续分析提供了完整的处理轨迹。数据组织形式采用分片压缩存储，既节省存储空间又支持流式读取，特别适合大规模机器学习任务的分布式处理需求。

使用方法

研究人员可通过Hugging Face数据集库直接加载本数据集进行学术文本挖掘研究。使用load_dataset函数指定数据文件路径即可获取完整的OCR结果，每条记录包含论文标识符和转换后的Markdown格式文本。这种标准化接口使得数据集能够无缝集成到自然语言处理流程中，支持从文本分析、知识图谱构建到科学文献语义检索等多种应用场景，为学术文献的智能化处理提供了高质量的基础数据。

背景与挑战

背景概述

随着学术文献数字化进程的加速，光学字符识别（OCR）技术在科学文献处理领域扮演着至关重要的角色。arXiv作为全球最大的预印本服务器，汇集了海量学术论文，但其PDF格式文档中的复杂数学公式、多栏排版及特殊符号给文本提取带来了显著困难。在此背景下，数据集`arxiv-chandra-ocr-1000-20260329-p30`应运而生，由研究人员NielsR于2026年3月创建，依托Chandra OCR 2模型对arXiv论文进行高精度OCR处理。该数据集旨在解决学术文献中非结构化文本的机器可读性问题，为自然语言处理、信息检索及科学知识挖掘等领域提供了高质量的文本资源，推动了学术文本自动化处理技术的发展。

当前挑战

该数据集致力于解决学术文献OCR领域的核心挑战，即从复杂排版的PDF文档中准确提取文本内容，特别是数学表达式、图表标注及多语言文本的识别。构建过程中面临多重技术难题：首先，arXiv论文篇幅差异显著，需设置页面数量上限以平衡处理效率与完整性；其次，大规模分布式处理要求高效的任务调度与容错机制，确保数千篇论文的OCR流程稳定运行；此外，模型需在有限的计算资源内处理高分辨率图像，同时保持输出文本的结构化与语义连贯性。这些挑战共同凸显了学术文献数字化进程中精度与规模并重的复杂性。

常用场景

经典使用场景

在学术文本数字化处理领域，arXiv-chandra-ocr-1000-20260329-p30数据集为大规模科学文献的OCR（光学字符识别）任务提供了标准化的基准资源。该数据集通过Chandra OCR 2模型对arXiv平台上的PDF论文进行高精度文本提取，尤其适用于处理包含复杂数学公式、图表和排版结构的学术文档。研究人员利用其生成的Markdown或HTML格式文本，能够高效构建可检索、可分析的语料库，从而支持下游的自然语言处理与信息检索实验。

实际应用

在实际应用层面，该数据集支撑了学术搜索引擎的语义检索功能优化，使系统能够对公式和术语进行深度索引。教育机构可基于其构建交互式文献学习工具，辅助学生理解复杂科学内容。出版行业则借助该技术实现历史期刊的批量数字化归档。此外，科研团队利用其结构化文本训练领域专用语言模型，加速科学发现与跨学科知识融合。

衍生相关工作

围绕该数据集衍生的经典工作包括基于OCR增强的科学文献摘要生成系统，以及针对数学表达式识别的专用神经网络架构。多项研究利用其标注数据训练版面分析模型，实现了对学术论文章节结构的自动解析。在跨模态学习领域，该数据集促进了文本-公式对齐算法的创新，为计算机科学、物理学等学科的智能文献处理工具开发奠定了数据基石。