arxiv-ai-ml-100k

该数据集是从`Rendra8631/arxiv-papers`数据集中筛选出的99,999篇论文的分层子集，主要包含`cs.AI`、`cs.CV`、`cs.LG`和`stat.ML`等主题，且仅限于2023年至2025年提交的论文。数据集作为OCR基准测试的构建产物，旨在为下游基准测试语料库（栅格化页面图像）提供稳定且范围明确的PDF池。数据集内容包括`metadata.parquet`文件（包含每篇论文的元数据及衍生列）和按主题及提交年月分组的PDF文件。筛选和采样过程包括主题过滤、提交年份限制、版本去重以及分层随机抽样，最终各主题的论文数量分别为：`cs.AI` 11,788篇，`cs.CV` 43,616篇，`cs.LG` 39,599篇，`stat.ML` 4,996篇。数据集中的每篇论文均保留其作者选择的版权和许可（通常为Creative Commons），使用者需自行检查具体许可条款。数据集的构建基于特定源代码提交和构建管道，确保可重现性。

原始信息汇总

数据集概述：obswork/arxiv-ai-ml-100k

数据集来源与性质

• 本数据集是源数据集 Rendra8631/arxiv-papers 在特定修订版本 (a2c6afb51332d2744b46308df6917697582f8cd4) 下的一个分层子集。
• 数据集规模为 99,999 篇论文。
• 数据集构建目的是作为 modal-model-experiments/arxiv_mirror/ 中OCR基准测试的构建产物，旨在为下游基准测试语料库（栅格化的页面图像）提供一个稳定且范围明确的PDF池。

内容筛选标准

• 学科范围：筛选保留 arXiv 主要学科类别为 cs.AI、cs.CV、cs.LG 和 stat.ML 的论文。
• 提交时间：仅包含提交年份在 2023 年至 2025 年之间的论文。年份从 arXiv ID 的 YYMM.NNNNN 前缀推导，对于2007年以前旧格式ID则通过正则表达式解析 submission_date 字段回退判断。
• 版本去重：对于源元数据中存在多个版本（如 ...v1， ...v2）的论文，仅保留最新版本。

抽样方法

• 采用分层随机抽样，目标为每个类别抽取 25,000 篇论文，使用随机数生成器种子 numpy.random.default_rng(seed=20260416)。
• 若某个类别的可用论文少于 25,000 篇，则纳入所有论文；由此产生的总数量不足部分，从筛选后剩余的论文池中均匀补足。
• 最终各类别论文数量如下：
  • cs.AI: 11,788 篇
  • cs.CV: 43,616 篇
  • cs.LG: 39,599 篇
  • stat.ML: 4,996 篇

数据集文件结构

• metadata.parquet：包含 99,999 行数据，每行对应一篇论文。该文件继承了源数据集的模式，并新增了 primary_code、submission_year 和 target_filename 三个派生列。
• pdfs/<primary_code>/<YYMM>/<arxiv_id>.pdf：每篇论文对应一个PDF文件。文件按 arXiv 主要学科代码（例如 cs.CV）和提交年月（YYMM格式）进行分桶存储。YYMM层级的设计旨在使每个目录下的文件数保持在 Hugging Face 平台要求的每目录10,000个文件上限以内，同时为使用者提供了按时间切片的自然维度。

许可信息

• 本数据集是来自 arXiv.org 的学术著作集合。每篇论文仍受其各自作者选定的版权和许可协议约束（通常为知识共享许可）。
• 数据使用者有责任检查其下载或重新分发的任何论文的具体许可条款。上游许可说明请参阅源数据集。

可复现性

• 源数据集提交版本：a2c6afb51332d2744b46308df6917697582f8cd4。
• 构建流程脚本：arxiv_mirror/{filter_plan,mirror,finalize}.py。

搜集汇总

数据集介绍

构建方式

在人工智能与机器学习领域，持续更新的学术文献构成了研究进展的重要基石。arxiv-ai-ml-100k数据集通过系统化的构建流程，从庞大的arXiv论文库中提炼出一个精炼且稳定的子集。其构建始于对源数据集Rendra8631/arxiv-papers在特定版本下的筛选，仅保留主要学科分类为cs.AI、cs.CV、cs.LG与stat.ML，且提交年份在2023年至2025年之间的论文。为确保数据的唯一性与时效性，对同一论文的多个版本仅保留最新版，并采用分层随机抽样策略，以固定随机种子在每个类别中抽取目标数量的样本，最终通过均匀补足机制形成了一个包含99,999篇论文的平衡集合。

特点

该数据集的核心特征体现在其严谨的学科范围界定与精心的结构设计上。内容上，它聚焦于人工智能、计算机视觉、机器学习及统计机器学习这四个前沿且活跃的研究方向，并严格限定于近年发表的最新成果，确保了数据的前沿性与时效性。数据结构清晰，不仅包含承载论文元数据的表格文件，还按照学科分类和提交年月对PDF原文进行了层级化组织存储，这种设计既规避了平台的文件数量限制，也为用户按时间或领域进行数据切片提供了天然便利。数据集的规模分布反映了各子领域的实际产出差异，为分析研究趋势提供了真实样本。

使用方法

对于致力于文档图像识别、学术文本挖掘或领域知识图谱构建的研究者而言，该数据集提供了一个标准化的基准资源。用户可直接加载metadata.parquet文件获取所有论文的元信息，包括学科分类、提交年份及对应的PDF文件路径。根据研究需求，可以依据primary_code或submission_year等字段轻松筛选特定子集。PDF文件按层级目录存放，便于程序化批量访问或进行光学字符识别等下游处理。在使用过程中，用户需注意遵守arXiv平台及原作者对每篇论文设定的版权与许可协议，确保合规使用。

背景与挑战

背景概述

随着人工智能与机器学习领域的飞速发展，学术文献的规模呈现爆炸式增长，arXiv预印本平台作为该领域重要的知识库，汇集了海量的前沿研究成果。为支持光学字符识别等下游任务的基准测试，研究人员从Rendra8631/arxiv-papers数据集中精心构建了arxiv-ai-ml-100k数据集。该数据集由obswork团队于近期创建，聚焦于2023年至2025年间提交的论文，并严格筛选了cs.AI、cs.CV、cs.LG及stat.ML四个核心学科类别，通过分层抽样策略最终整合了99,999篇文献。这一举措旨在为机器学习文档处理研究提供一个稳定、高质量且具有时效性的语料库，显著促进了学术文本分析与信息提取技术的发展。

当前挑战

该数据集致力于应对学术文档数字化与信息抽取中的关键挑战，尤其是在处理大规模、多格式的PDF文献时，如何确保文本识别的准确性与一致性。构建过程中，研究团队面临多重困难：首先，需从庞杂的arXiv元数据中精确过滤目标学科与时间范围的论文，并处理版本去重与数据完整性校验；其次，为满足平台存储限制，必须设计合理的文件目录结构以实现高效存储与访问；此外，在分层抽样时，需平衡各类别的样本数量，以反映真实分布同时避免数据倾斜，这对统计代表性提出了较高要求。这些挑战共同凸显了构建高质量学术数据集所需的严谨工程与领域洞察。

常用场景

经典使用场景

在人工智能与机器学习领域，arxiv-ai-ml-100k数据集常被用作光学字符识别（OCR）系统的基准测试平台。该数据集精选了arXiv平台上2019至2025年间在人工智能、计算机视觉、机器学习及统计机器学习四大核心领域的近十万篇学术论文，其结构化存储与时间分层设计为OCR模型评估提供了标准化的文本图像对。研究者通过该数据集能够系统性地检验模型在学术文档上的文字识别精度、版面分析能力以及对复杂数学公式的解析效果，从而推动文档数字化技术的演进。

实际应用

在实际应用层面，arxiv-ai-ml-100k数据集支撑了学术出版与知识管理系统的智能化升级。基于该数据集训练的OCR模型可被集成至学术搜索引擎、数字图书馆及文献管理工具中，实现论文内容的快速数字化与索引构建。教育机构与科研单位能够利用其构建自动化的文献综述辅助系统，从海量论文中提取关键方法与结论。同时，该数据集也为科技情报分析、研究趋势预测以及学术不端检测等应用提供了结构化的数据来源，提升了学术信息服务的效率与深度。

衍生相关工作

围绕arxiv-ai-ml-100k数据集，已衍生出一系列聚焦文档分析与学术文本处理的经典研究工作。例如，基于其构建的OCR基准测试框架被广泛用于评估如LayoutLM、Donut等前沿文档理解模型的性能。部分研究利用该数据集的学科与时间分层特性，开展了跨领域学术文献的语义检索、主题演化分析以及引用网络挖掘。此外，结合其多模态特性，亦有工作探索了学术图表识别、公式LaTeX转换等任务，推动了智能学术助手与自动化知识提取工具的发展。