HuggingFaceM4/OBELICS

OBELICS是一个开放的、大规模的、经过筛选的网页文档集合，包含141M个英文文档、115B个文本标记和353M张图像，这些数据是从2020年2月至2023年2月的Common Crawl数据中提取的。这些文档包含交替的图像和文本段落，如网页中的图像和文本。训练在这些网页文档上的模型在各种基准测试中表现优于仅使用图像-文本对训练的视觉和语言模型。数据集还提供了一个交互式可视化工具，允许用户探索OBELICS的内容。

OBELICS is an open, large-scale, curated collection of web documents, consisting of 141 million English documents, 115 billion text tokens, and 353 million images. The dataset is extracted from Common Crawl data collected between February 2020 and February 2023. These documents feature alternating image and text paragraphs consistent with the actual layout of images and text on webpages. Models trained on these web documents outperform vision-language models trained exclusively on image-text pairs across various benchmark tests. Additionally, the dataset provides an interactive visualization tool that enables users to explore the contents of OBELICS.

原始信息汇总

数据集概述

名称: OBELICS

语言: 英语 (en)

许可证: CC-BY-4.0

大小: 100M<n<1B

配置:

• 默认配置:

  • 数据文件路径: data/train-*
  • 训练数据:
    • 字节数: 715724717192
    • 示例数: 141047697
    • 下载大小: 71520629655
    • 数据集大小: 715724717192
  • 特征:
    • images: 序列类型为字符串
    • metadata: 数据类型为字符串
    • general_metadata: 数据类型为字符串
    • texts: 序列类型为字符串

• opt_out_docs_removed_2023_07_12配置:

  • 数据文件路径: opt_out_docs_removed_2023_07_12/train-*
  • 训练数据:
    • 字节数: 684638314215
    • 示例数: 134648855
    • 下载大小: 266501092920
    • 数据集大小: 684638314215
  • 特征:
    • images: 序列类型为字符串
    • metadata: 数据类型为字符串
    • general_metadata: 数据类型为字符串
    • texts: 序列类型为字符串

数据字段:

• images: 图像URL列表，与文本列表长度相同，每个索引位置只有一个元素不为None。
• texts: 文本列表，与图像列表长度相同，每个索引位置只有一个元素不为None。
• metadata: 包含每个图像相关信息的字符串列表。
• general_metadata: 包含文档URL和从Common Crawl提取信息的字符串字典。

使用注意事项:

• 偏见讨论: 数据集中的train部分经过评估，存在一些性别和职业相关的偏见。
• 内容警告: 数据集中包含不适合所有观众的内容，如色情描述和暴力报告。
• 版权和使用许可: 使用数据集需遵守CC-BY-4.0许可证，并在使用数据集训练的模型或应用中披露数据集的使用。

搜集汇总

数据集介绍

构建方式

OBELICS数据集源自Common Crawl网络存档，覆盖2020年2月至2023年2月间的英文网页快照。其构建核心在于从海量网页中筛选出图文交错（interleaved image-text）的文档，即文本段落与图像交替出现的网页内容。研究者通过一系列过滤步骤，包括语言检测、内容质量评估和去重，最终收集了1.41亿个文档，包含1150亿文本标记和3.53亿张图像。每个样本以统一格式存储：images和texts两个等长列表交替记录图像URL和文本片段，metadata字段保存图像的来源、替代文本等属性，general_metadata则记录文档的原始URL及Common Crawl提取信息。

特点

OBELICS的显著特点在于其大规模、开放性和图文交错结构。作为首个公开的此类数据集，它提供了比传统图像-文本配对更丰富的上下文信息——文档中图像与文本自然交织，使模型能学习多模态内容的连贯叙事。数据集包含1.41亿文档，单训练集规模达666.6 GB（Arrow格式），但仅存储图像URL以降低存储成本。此外，数据集提供两个配置：默认版本和opt_out_docs_removed_2023_07_12版本，后者通过Spawning API移除了创作者明确退出AI训练的文档，尊重版权选择。尽管经过过滤，数据集中仍存在少量不适宜内容（如色情或暴力描述），需使用者注意。

使用方法

使用OBELICS时，用户可通过HuggingFace Datasets库加载，例如ds = load_dataset('HuggingFaceM4/OBELICS', 'default')。由于图像以URL形式存储，需借助img2dataset等工具下载实际图像。数据集仅包含训练集，无官方验证或测试划分。建议优先使用opt_out_docs_removed_2023_07_12配置以规避版权问题：ds = load_dataset('HuggingFaceM4/OBELICS', 'opt_out_docs_removed_2023_07_12')。用户应定期检查文档是否遵守创作者退出偏好。该数据集适用于训练视觉语言模型（如IDEFICS），支持任意序列的图像和文本输入，并能生成连贯的长文本输出。引用时需注明相关论文和CC-BY-4.0许可证。

背景与挑战

背景概述

多模态学习领域长期受限于高质量图文交错数据的匮乏，传统的图像-文本对数据集难以捕捉真实网页中文本与图像交织的复杂语义关系。为突破这一瓶颈，Hugging Face团队于2023年发布了OBELICS数据集，由Hugo Laurençon、Lucile Saulnier等研究人员主导，基于Common Crawl在2020年至2023年间的快照构建。该数据集包含1.41亿篇英文文档、1150亿文本标记及3.53亿张图像，开创性地以交错式图文结构呈现，使模型能够理解图像与文本在自然语境中的顺序与关联。基于OBELICS训练的IDEFICS模型在多模态基准测试中显著优于仅使用图文对训练的同类模型，证明了该数据集在推动视觉语言模型向长文本生成与多图像推理方向发展的关键作用，成为开放科学社区中多模态研究的重要基石。

当前挑战

OBELICS数据集面临多维挑战。在领域问题层面，传统图文对数据集无法解决模型对复杂网页结构（如交替出现的图像与段落）的语义理解需求，导致模型在生成连贯多图像描述时表现欠佳，OBELICS通过交错数据形式填补了这一空白。在构建过程中，挑战尤为严峻：首先，从海量Common Crawl数据中提取并过滤噪声内容需要精密管道，例如去除低质量、重复或无关图像，同时保留交错结构；其次，版权合规问题突出，团队需使用Spawning API逐一验证图像是否被创作者选择退出AI训练，且初始阶段因过滤疏漏导致4.25%的文档未正确移除，需后续版本修正；此外，数据偏见难以根除，评估显示性别与职业等关联存在倾斜，且少量文档包含色情或暴力内容，对下游模型的公平性与安全性构成潜在风险。

常用场景

经典使用场景

OBELICS作为大规模交错图文文档数据集，其最经典的使用场景在于为多模态大语言模型提供预训练语料。通过从Common Crawl中提取并精心筛选出包含文本与图像交替出现的网页内容，该数据集能够模拟真实世界中图文交织的信息结构，使得模型在学习过程中不仅理解单张图像与文本的对应关系，更能掌握跨图像与文本序列的复杂语义逻辑。研究者常利用OBELICS对视觉语言模型进行端到端的预训练，从而提升模型在需要多轮图文交互任务上的表现，如视觉问答、图文故事生成以及多图像描述等。

解决学术问题

OBELICS有力回应了多模态学习领域中一个长期存在的难题：如何获取大规模、高质量且结构自然的交错图文数据。传统数据集多基于人工标注或简单图文对拼接，缺乏真实网页中图文交错排列的生态特征，限制了模型对多模态上下文的理解能力。OBELICS通过系统性过滤与去重策略，提供了包含141M文档、353M图像的庞大规模语料，使研究者得以训练出能够处理任意序列图文输入的模型。该数据集的提出显著推动了多模态预训练从简单的图文匹配向复杂多轮推理的范式转变，成为连接视觉与语言理解的重要桥梁。

衍生相关工作

OBELICS的发布催生了一系列具有影响力的后续研究，其中最引人注目的当属IDEFICS模型，该模型直接基于OBELICS进行预训练，成为首个完全开源且能够处理任意交错图文序列的80B参数视觉语言模型。此外，研究者围绕OBELICS开展了数据质量评估与偏差分析工作，开发了交互式可视化工具以探索数据集中的内容分布与潜在偏见。在方法论层面，OBELICS的构建流程——包括基于Spawning API的版权过滤与基于nPMI的偏差度量——为后续大规模多模态数据集的构建提供了可复用的技术规范和伦理审查框架。