pdfa-eng-wds

PDFA数据集专注于为视觉-语言模型提供机器学习就绪的数据。它包含从SafeDocs语料库筛选的文档数据，并以WebDataset的.tar格式提供，便于与WebDataset库的衍生形式配合使用。该数据集包含超过210万个样本，主要用于图像到文本的任务，并提供了文档中单词、行和图像的边界框信息。数据经过了文件大小、渲染时间和语言的过滤，以优化大规模数据加载，并且每个文档都配有包含OCR注释和元数据的JSON文件。使用者需要注意Common Crawl和Digital Corpora项目的使用条款。