tomg-group-umd/pixelprose

PixelProse是一个包含超过1600万张图像及其对应密集描述的综合数据集，这些描述是通过先进的视觉语言模型生成的。数据集分为三个主要部分：CommonPool、CC12M和RedCaps，分别包含650万、910万和130万对图像和描述。数据集提供了多种下载方式，包括Git LFS、Huggingface API和直接链接。数据集中的变量列包括唯一标识符、图像URL、原始描述、密集描述等。

原始信息汇总

PixelProse 数据集概述

数据集基本信息

• 许可证：cc-by-4.0
• 任务类别：
  • 图像到文本
  • 文本到图像
  • 视觉问答
• 语言：英语
• 标签：croissant
• 美观名称：PixelProse
• 大小类别：10M<n<100M

数据集配置

• 配置名称：default
• 数据文件：
  • train：data/vlm_captions_*.parquet
  • cc12m：data/vlm_captions_cc12m_*.parquet
  • commonpool：data/vlm_captions_common-pool_*.parquet
  • redcaps：data/vlm_captions_redcaps_*.parquet

数据集详细信息

• 总图像-文本对数：16,896,214（16.9M）
  • CommonPool：6,538,898（6.5M）对
  • CC12M：9,066,455（9.1M）对
  • RedCaps：1,290,861（1.3M）对

数据下载

• Parquet 文件下载方式：
  • 通过 Git LFS
  • 通过 Huggingface API
  • 通过直接链接

图像下载

• 图像下载工具：img2dataset

变量列

• uid：图像唯一标识符
• url：图像URL
• key：图像关联键
• status：vlm_model返回的状态
• original_caption：源继承的描述
• vlm_model：用于描述图像的模型
• vlm_caption：PixelProse的密集描述
• toxicity：一般有毒行为或语言的分数
• severe_toxicity：极其有害和辱骂性语言的分数
• obscene：使用淫秽或不适当语言的分数
• identity_attack：基于身份针对个人或群体的语言的分数
• insult：旨在侮辱或贬低的语言的分数
• threat：传达威胁伤害的语言的分数
• sexual_explicit：含有性显式内容的语言的分数
• watermark_class_id：水印分类（0 = 带水印的图像，1 = 无水印的图像，2 = 无水印但有文本的图像）
• watermark_class_score：每个水印类的预测分数，范围从[0, 1]
• aesthetic_score：美学分数，范围从[0, 10]
• error_message：vlm_model返回的错误消息
• width / height：下载并用于运行vlm_model的图像尺寸
• original_width / original_height：图像的原始尺寸
• exif：图像文件的EXIF信息
• sha256：图像文件的SHA256哈希
• image_id, author, subreddit, score：从RedCaps继承的属性，CC12M和CommonPool中不可用

搜集汇总

数据集介绍

构建方式

PixelProse数据集由马里兰大学研究团队构建，旨在突破传统图像描述数据集的稀疏性局限。该数据集整合了来自CommonPool、CC12M和RedCaps三大公开数据源的超过1600万张图像，并利用先进的视觉语言模型Gemini 1.0 Pro Vision为每张图像生成密集且精准的合成描述。构建流程包括下载包含图像URL和元数据的Parquet文件，继而通过img2dataset等工具获取原始图像，最终生成结构化的图像-文本配对数据，所有描述均经过模型验证并附带质量评估指标。

特点

PixelProse数据集的核心优势在于其规模宏大且信息密度极高，共包含近1690万对图像-文本样本，覆盖多领域视觉内容。每项数据条目不仅提供原始图像URL和来源描述，还记录了由VLM生成的高质量密集描述，并附带全面的质量评估指标，包括毒性评分（如严重毒性、侮辱性、色情内容）、水印分类、美学评分以及图像尺寸等元数据。这种多维度的标注体系使得数据集在图像描述、文本生成和视觉问答等任务中具有卓越的实用价值。

使用方法

PixelProse数据集的使用方式灵活多样，支持通过Hugging Face API直接加载，用户可选择加载完整数据集或按CommonPool、CC12M、RedCaps等子集进行拆分调用。数据集以Parquet格式存储，便于高效处理大规模数据，同时提供Git LFS和直接下载两种备选获取途径。对于需要原始图像的应用场景，建议结合img2dataset工具从提供的图像Tar包中下载。该数据集适用于图像描述生成、文本到图像合成以及视觉问答等多模态学习任务的训练与评估。

背景与挑战

背景概述

PixelProse数据集由马里兰大学Tom G.研究团队于2024年创建，旨在解决视觉语言模型训练中高质量密集图像描述数据匮乏的核心问题。该数据集汇聚了超过1690万对图像-文本对，融合了CommonPool、CC12M和RedCaps三大源数据，并借助Gemini 1.0 Pro Vision等前沿视觉语言模型生成详尽的合成描述。PixelProse不仅提供了丰富的图像描述，还纳入了毒性评分、水印分类、美学评分等多维元数据，为多模态学习、视觉问答和文本到图像生成等任务提供了标准化基准。其发布显著推动了视觉语言理解领域的发展，成为连接像素与语义的重要桥梁。

当前挑战

PixelProse面临的核心挑战在于解决视觉语言模型对图像内容的理解歧义性，即如何生成既准确又富有语义细节的密集描述，以克服传统简单标注的局限性。在构建过程中，团队遭遇了多重技术难题：首先，大规模合成描述的质量控制，需确保不同源数据（如RedCaps的社交媒体图像与CC12M的网页图片）生成的描述风格一致且无偏见；其次，元数据标注的可靠性，如毒性评分和水印分类的自动化评估易受模型误差影响；最后，数据存储与分发的效率问题，处理16.9M对数据的下载、哈希校验及跨平台兼容性，对基础设施提出了严峻考验。

常用场景

经典使用场景

PixelProse数据集汇聚了超过1600万对由尖端视觉语言模型（如Gemini 1.0 Pro Vision）自动生成的图像-文本对，其核心应用场景在于为多模态学习提供大规模、高质量、密集描述的监督信号。研究者常利用该数据集进行图像描述生成模型的训练与评估，尤其是需要精细、丰富语义描述的任务，例如从像素级信息到自然语言叙述的跨模态映射。通过整合CommonPool、CC12M和RedCaps等源数据，PixelProse覆盖了多样化场景，成为推动视觉语言预训练模型性能提升的关键数据基石。

衍生相关工作

PixelProse的发布催生了一系列经典后续工作，例如基于其密集描述改进的视觉语言预训练框架，通过对比学习或生成式目标进一步提升下游任务性能。研究者还利用该数据集进行描述风格迁移、细粒度视觉推理等课题探索，并衍生出针对长尾概念建模的专用子集。此外，PixelProse中丰富的元数据（如审美评分、毒性指标）激发了关于多模态数据质量筛选与偏差校正的研究，推动了更鲁棒、公平的视觉语言模型设计范式，成为领域内数据驱动创新的重要参照。

数据集最近研究

最新研究方向

PixelProse数据集聚焦于视觉语言模型的前沿探索，通过整合超过1600万对由Gemini 1.0 Pro Vision等尖端模型生成的密集图像描述，为多模态学习提供了高质量的训练资源。该数据集不仅覆盖了CommonPool、CC12M和RedCaps等主流来源，还引入了毒性评分、水印分类和美学评分等多维元数据，以支持图像描述、文本到图像生成及视觉问答等任务。当前研究热点包括利用此类大规模合成数据提升模型对复杂场景的细粒度理解能力，同时推动生成式AI在可靠性和安全性方面的评估。PixelProse的发布顺应了多模态大模型对海量、多样标注数据的需求，其创新的数据构建方式为缓解人工标注瓶颈、促进跨模态泛化研究树立了新标杆。