common-canvas/commoncatalog-cc-by-nc-nd

CommonCatalog CC-BY-NC-ND数据集是一个包含从Yahoo Flickr Creative Commons收集的高分辨率图像的大型集合，分辨率高达4K，并附有合成字幕。数据集主要用于训练文本到图像和图像到文本模型，特别是用于训练名为CommonCanvas的潜在扩散模型。数据集结构分为10个子集，每个子集包含约4GB的parquet文件，并根据图像的商业使用许可（C和NC）进行划分。数据集的创建目的是为了提供一个标准化的、易于访问的数据集，以便其他人可以在一个共同的开放源代码图像生成数据集上进行训练。数据集的风险和局限性包括对互联网连接的西方国家的偏见，以及全球南方地区的代表性不足。CommonCatalog CC-BY-NC-ND Dataset is a large-scale collection of high-resolution images collected from Yahoo Flickr Creative Commons, with resolutions up to 4K, accompanied by synthetic captions. This dataset is primarily designed for training text-to-image and image-to-text models, especially for the training of the latent diffusion model named CommonCanvas. The dataset is divided into 10 subsets, each containing approximately 4GB of Parquet files, and is categorized based on the commercial usage licenses (C and NC) of the images. The purpose of creating this dataset is to provide a standardized and easily accessible resource, allowing other researchers to conduct model training on a shared open-source image generation dataset. The risks and limitations of this dataset include bias toward Western countries with internet access, as well as the underrepresentation of regions in the Global South.

原始信息汇总

数据集概述

数据集名称

• 名称: CommonCatalog CC-BY-NC-ND

数据集描述

• 内容: 包含约1亿张高分辨率图像，来自Yahoo Flickr Creative Commons，具有合成标题。
• 分辨率: 最高可达4K分辨率。
• 语言: 英语
• 许可证: CC-BY-NC-ND-4.0
• 收集时间: 2014年

数据集特征

• 图像特征:
  • jpg: 图像类型
  • width, height, original_width, original_height: 整数类型，表示图像尺寸
  • photoid, uid, serverid, farmid: 字符串或整数类型，用于标识
  • longitude, latitude: 浮点数类型，地理位置信息
  • accuracy: 整数类型，定位精度
  • url, downloadurl, pageurl: 字符串类型，链接信息
  • sha256: 字符串类型，哈希值
• 文本特征:
  • blip2_caption, caption, licensename, licenseurl, unickname, datetaken, dateuploaded, capturedevice, title, usertags, machinetags, secret, secretoriginal, ext, key, status, error_message, exif, description: 字符串类型，包含标题、描述、上传日期、设备信息等

数据集结构

• 分割: 分为10个子集，每个子集约4GB，按图像分辨率和商业使用许可（C或NC）划分。

数据集用途

• 直接用途: 训练文本到图像模型，训练图像到文本模型
• 非直接用途: 禁止商业使用，不得用于创建或传播歧视性、误导性内容，不得用于侵犯版权等。

数据集创建

• 来源数据: Yahoo Flickr Creative Commons 100M Dataset 和合成生成的标题数据
• 数据处理: 使用BLIP2生成合成标题
• 数据生产者: Flickr用户

数据集偏差、风险和限制

• 偏差: 主要偏向互联网连接的西方国家，全球南方地区代表性不足
• 风险和限制: 数据收集于2014年，可能存在时代偏差

数据集引用

• 引用信息: 见提供的BibTeX条目

数据集联系人

• 联系人: Aaron Gokaslan
• 联系方式: 见提供的链接

搜集汇总

数据集介绍

构建方式

CommonCatalog CC-BY-NC-ND数据集源自Yahoo Flickr Creative Commons 100M数据集，汇集了2014年来自Flickr用户上传的高分辨率创意共享图像。为提升数据可用性，研究团队利用BLIP2模型为约1亿张图像生成了合成字幕，从而构建了一个规模宏大、注释丰富的数据集。图像分辨率最高可达4K，使其成为目前分辨率最高的带字幕图像数据集之一。数据集按商用与非商用许可分类，并依据图像分辨率和宽高比划分为10个子集，每个子集以约4GB的Parquet文件存储，便于高效访问与处理。

特点

该数据集的核心特点在于其高分辨率与丰富的元数据。每张图像不仅包含BLIP2生成的合成字幕，还保留了原始标题、用户标签、机器标签、拍摄设备、经纬度坐标、EXIF信息等数十项属性，为多模态学习提供了全面的上下文。数据集采用CC BY-NC-ND 4.0许可，明确区分商用与非商用用途，确保了来源的透明性与可追溯性。此外，所有图像均经过SHA256哈希校验，进一步保障了数据的完整性与可靠性。

使用方法

该数据集主要面向文本到图像及图像到文本模型的训练任务，尤其适用于扩散模型的预训练与微调。使用时，用户可通过HuggingFace Datasets库加载数据，按需选择商用或非商用子集，并根据图像分辨率与宽高比进行过滤。数据集以Parquet格式分片存储，支持分布式处理，便于在大规模计算集群上高效训练。建议结合CommonCanvas论文中的实验设置，以复现与Stable Diffusion 2性能相当的模型，同时利用其已知来源特性进行训练数据归因分析。

背景与挑战

背景概述

在文本到图像生成领域，训练数据的规模、质量与版权合规性始终是制约模型发展的核心瓶颈。CommonCatalog CC-BY-NC-ND数据集由Aaron Gokaslan等人于2023年创建，源自Yahoo Flickr Creative Commons（YFCC）百万级图像集合，精选约1亿张高分辨率（最高4K）图像，并借助BLIP2模型生成合成标题。该数据集旨在为开源扩散模型提供一条可追溯、易复现的训练路径，其核心研究问题在于：如何利用已知来源的创作共用许可图像，训练出性能媲美Stable Diffusion 2的文本到图像模型。CommonCatalog的出现显著降低了模型复制的门槛，为训练数据归因技术的应用提供了清晰机制，对推动开放、可验证的生成式AI研究具有里程碑意义。

当前挑战

该数据集面临的核心挑战集中在三大方面。首先，在领域问题层面，尽管数据集规模庞大，但原始图像采集于2014年，存在显著的地域与人口偏差，尤其缺乏全球南方地区的代表性，这可能导致训练出的模型在文化多样性场景下表现欠佳。其次，构建过程中遭遇的挑战包括：合成标题的质量控制，BLIP2生成的描述虽高效，却可能引入噪声或与图像真实内容偏离；许可合规的精细管理，需区分商业用途（C）与非商业用途（NC）子集，确保下游模型训练不违反CC-BY-NC-ND协议；以及高分辨率图像带来的存储与处理开销，要求对图像按分辨率和宽高比进行分片存储，增加了数据管线的复杂性。

常用场景

经典使用场景

CommonCatalog CC-BY-NC-ND 数据集最经典的使用场景在于为文本到图像（text-to-image）生成模型提供大规模、高分辨率且带有合成描述的训练数据。该数据集包含约1亿张来自Yahoo Flickr Creative Commons（YFCC）的高清图像，分辨率可达4K，并附带由BLIP2生成的合成描述。研究者常利用此数据集训练潜在扩散模型（latent diffusion models），例如CommonCanvas系列，旨在与Stable Diffusion 2等模型竞争，同时确保数据集的可复现性和来源透明性。其经典用法聚焦于推动开放源代码图像生成领域的基准训练。

实际应用

在实际应用中，CommonCatalog CC-BY-NC-ND 数据集主要用于训练非商业场景下的文本到图像生成模型，例如艺术创作辅助、教育内容生成和学术研究原型验证。由于采用非商业许可（NC），它特别适用于需要严格版权合规的个人项目或非营利组织，例如生成教学插图或社交媒体视觉内容。同时，其高分辨率特性（可达4K）支持高质量图像输出，在数字媒体设计、虚拟场景构建和创意工具开发中展现潜力，但需注意避免用于商业用途或生成有害内容。

衍生相关工作

基于CommonCatalog CC-BY-NC-ND数据集，衍生了一系列经典工作，其中最突出的是CommonCanvas系列潜在扩散模型，其论文发表于arXiv（2310.16825），展示了如何利用该数据集训练出与Stable Diffusion 2性能相当的模型。此外，该数据集促进了数据归因技术的研究，如训练数据影响分析，以及合成描述质量评估方法的发展。它还激发了关于开放数据许可、模型透明性和公平性（如地域偏差）的讨论，为后续数据集构建（如CommonCatalog的其他许可变体）提供了范本，推动了开源图像生成领域的生态建设。