pixparse/cc3m-wds

Conceptual Captions (CC3M) 数据集包含约330万张图像及其对应的描述。与其它图像描述数据集不同，这些图像和描述是从网页中提取的，因此风格更加多样化。具体来说，描述是从网页图像的Alt-text HTML属性中提取的。为了达到当前版本的描述，数据集通过自动化的流程进行提取、过滤和转换，以确保描述的清洁性、信息量、流畅性和可学习性。数据集以webdataset的.tar格式提供，适用于webdataset库或Hugging Face的`datasets`库。数据集的训练集和验证集分别包含576个和16个分片，样本数量分别为2905954和13443。

原始信息汇总

数据集概述

数据集名称

Conceptual Captions

数据量

约3.3M张图片

数据特点

• 图片及其描述均从网络上收集。
• 描述信息来源于网页图片的Alt-text HTML属性。
• 通过自动处理流程，对图片和描述进行提取、过滤和转换，以确保描述的清洁度、信息性、流畅性和可学习性。

与其他数据集的区别

• 与传统精选风格的图像描述不同，本数据集的描述风格更为多样，反映了更广泛的网络内容。