Mozilla/docornot

--- license: other dataset_info: features: - name: image dtype: image - name: is_document dtype: class_label: names: '0': 'no' '1': 'yes' splits: - name: train num_bytes: 3747106867.2 num_examples: 12800 - name: test num_bytes: 468388358.4 num_examples: 1600 - name: validation num_bytes: 468388358.4 num_examples: 1600 download_size: 4682888903 dataset_size: 4683883584.0 configs: - config_name: default data_files: - split: train path: data/train-* - split: test path: data/test-* - split: validation path: data/validation-* --- The `DocOrNot` dataset contains 50% of images that are pictures, and 50% that are documents. It was built using 8k images from each one of these sources: - RVL CDIP (Small) - https://www.kaggle.com/datasets/uditamin/rvl-cdip-small - license: https://www.industrydocuments.ucsf.edu/help/copyright/ - Flickr8k - https://www.kaggle.com/datasets/adityajn105/flickr8k - license: https://creativecommons.org/publicdomain/zero/1.0/ It can be used to train a model and classify an image as being a picture or a document. Source code used to generate this dataset : https://github.com/mozilla/docornot许可证：其他 数据集信息： 特征： - 名称：图像（image） 数据类型：图像 - 名称：是否为文档（is_document） 数据类型： 类别标签（class_label）： 类别名称： '0': '否' '1': '是' 划分集： - 名称：训练集（train） 字节数：3747106867.2 样本数：12800 - 名称：测试集（test） 字节数：468388358.4 样本数：1600 - 名称：验证集（validation） 字节数：468388358.4 样本数：1600 下载大小：4682888903 数据集总大小：4683883584.0 配置项： - 配置名称：默认配置（default） 数据文件： - 划分集：训练集（train） 路径：data/train-* - 划分集：测试集（test） 路径：data/test-* - 划分集：验证集（validation） 路径：data/validation-* `DocOrNot`数据集包含50%的普通照片图像与50%的文档图像。 该数据集的构建采用了两个来源各8000张图像： - RVL CDIP (Small)：https://www.kaggle.com/datasets/uditamin/rvl-cdip-small，授权协议详见：https://www.industrydocuments.ucsf.edu/help/copyright/ - Flickr8k：https://www.kaggle.com/datasets/adityajn105/flickr8k，授权协议为知识共享CC0 1.0通用领域协议（https://creativecommons.org/publicdomain/zero/1.0/） 该数据集可用于训练模型以实现图像分类任务，判断输入图像属于普通照片还是文档。 生成该数据集的源代码地址为：https://github.com/mozilla/docornot

原始信息汇总

数据集概述

数据集信息

• 特征:

  • image: 图像数据
  • is_document: 分类标签，表示是否为文档
    • 标签名称:
      • 0: no
      • 1: yes

• 数据分割:

  • train:
    • 字节数: 3747106867.2
    • 样本数: 12800
  • test:
    • 字节数: 468388358.4
    • 样本数: 1600
  • validation:
    • 字节数: 468388358.4
    • 样本数: 1600

• 数据大小:

  • 下载大小: 4682888903
  • 数据集大小: 4683883584.0

配置

• 默认配置:
  • 数据文件路径:
    • train: data/train-*
    • test: data/test-*
    • validation: data/validation-*

数据集描述

• DocOrNot 数据集包含50%的图像为普通图片，50%为文档图片。
• 数据集构建使用了以下来源的8k张图像:
  • RVL CDIP (Small)
  • Flickr8k
• 该数据集可用于训练模型，以分类图像为普通图片或文档图片。

搜集汇总

数据集介绍

构建方式

在图像分类领域，区分自然图像与文档图像是预处理与内容理解的关键步骤。Mozilla/docornot数据集正是为此任务而精心构建的平衡数据集，其中文档图像与自然图像各占百分之五十。其构建过程融合了来自两个权威来源的八千张图像：文档图像源自RVL CDIP小型数据集，该数据集收录了丰富的行业文档扫描件；自然图像则取自Flickr8k数据集，涵盖了多样化的日常场景与物体。通过等比例混合，确保了类别分布的绝对均衡，为二分类模型训练提供了理想的基础。

特点

该数据集在结构上呈现出清晰的二元分类特性，包含图像（image）与类别标签（is_document）两个核心特征。类别标签以二值形式呈现，分别对应‘非文档’与‘文档’两种状态。数据集被划分为训练集、测试集与验证集三部分，其中训练集包含12800个样本，测试集与验证集各含1600个样本，整体数据量达16000张图像。这种划分方式既保证了模型训练的充分性，又为性能评估预留了独立且等量的测试与验证资源。

使用方法

使用该数据集时，可通过Hugging Face的datasets库直接加载，利用其简洁的API快速获取图像与标签对。模型训练可基于预训练的卷积神经网络进行迁移学习，将图像输入分类头以输出二分类结果。该数据集兼容主流的深度学习框架如PyTorch与TensorFlow，开发者仅需将图像数据转换为张量格式，并配合交叉熵损失函数与Adam优化器即可启动训练流程。此外，官方提供的生成代码仓库为数据复现与扩展提供了透明化的参考实现。

背景与挑战

背景概述

在计算机视觉领域，图像分类作为基础任务之一，其子任务——文档与自然场景图像的区分——在自动化文档处理、光学字符识别预处理及信息检索系统中具有重要应用价值。Mozilla团队于近年构建的DocOrNot数据集，旨在解决这一二分类问题，其核心研究问题为：如何高效区分图像内容属于文档或自然照片。该数据集由Mozilla主导开发，整合了来自RVL CDIP（小型版）的8000张文档图像与Flickr8k的8000张自然图像，共计16000张样本，确保了类别平衡与数据多样性。DocOrNot的发布为文档图像分类研究提供了标准化基准，尤其推动了轻量级分类模型在边缘设备上的部署，对提升企业级文档自动化流程的准确性产生了深远影响。

当前挑战

DocOrNot数据集所面临的挑战首先体现在领域问题的复杂性上：文档图像与自然照片在视觉特征上存在重叠，例如包含文字的自然场景（如路牌、海报）与纯文档图像边界模糊，导致传统基于纹理或边缘的算法难以鲁棒区分。此外，构建过程中存在数据来源异构性问题——RVL CDIP中的文档图像多为扫描件，而Flickr8k包含大量低分辨率、带噪点的自然图像，两者在光照、对比度及压缩伪影上的差异增加了模型泛化难度。同时，数据集规模相对有限（仅1.6万张），在真实场景中面对多语言文档、手写内容或复杂排版时，现有模型易产生过拟合，亟需通过数据增强或迁移学习策略来缓解分布外样本的误判风险。

常用场景

经典使用场景

在计算机视觉与文档分析的交汇领域，Mozilla/docornot数据集以其简洁而明确的二元分类任务——区分自然图像与文档图像——成为图像预分类研究的基石。该数据集精心平衡了50%的图片与50%的文档样本，源自RVL CDIP与Flickr8k两个经典资源库，确保了类别间的均衡性与视觉多样性。其经典使用场景在于为图像分类流水线提供前置过滤模块，例如在大型文档管理系统中，快速识别并分离纯文本扫描件与摄影照片，从而为后续的OCR或图像增强任务奠定基础。这一场景不仅考验模型对纹理、布局与色彩分布的判别能力，更推动了轻量级分类器在资源受限环境下的优化设计。

解决学术问题

该数据集直面学术研究中一个长期被忽视但至关重要的基础问题：如何在无人工干预下高效区分文档图像与自然图像。传统方法依赖手工特征工程，但泛化能力有限；DocOrNot则通过大规模均衡样本，为监督学习提供了标准化基准。它解决了两个核心挑战：一是缓解了文档图像在通用分类数据集中的稀缺性，二是消除了类别不平衡带来的训练偏差。其意义在于，它使得研究者能够聚焦于设计鲁棒的视觉特征提取器，而不必担忧数据噪声的干扰。这一成果直接影响了文档理解领域的预处理标准，推动了自动化文档分析系统从实验室走向实际部署的进程。

衍生相关工作

DocOrNot数据集的出现催生了一系列富有启发性的后续工作。研究者基于其均衡二元分类框架，探索了跨域迁移学习的有效性，例如将预训练于ImageNet的模型在此数据集上微调，验证了文档图像特征与自然图像特征的差异性。此外，该数据集被用作基准来评估新型轻量级网络架构（如MobileNet与EfficientNet）在文档分类任务上的性能表现。更深远的影响是，它启发了多任务学习的研究，将文档检测与版面分析、文字识别等任务联合训练，形成了端到端的文档理解系统。这些衍生工作不仅巩固了DocOrNot作为预处理标准测试床的地位，也推动了文档AI领域从单一分类向复合感知的范式演进。