aklein4/coyo-filtered-2

该数据集包含图像和文本信息，具有多个特征如id、url、text、width、height、image_phash等。此外，数据集还包含多个评分特征，如clip_similarity_vitb32、clip_similarity_vitl14、nsfw_score_opennsfw2等，这些评分可能用于评估图像的质量或内容。数据集仅包含一个训练集，包含大量示例和字节数。

This dataset contains image and text information with multiple features such as id, url, text, width, height, image_phash, etc. Additionally, the dataset includes several scoring features like clip_similarity_vitb32, clip_similarity_vitl14, nsfw_score_opennsfw2, etc., which may be used to assess the quality or content of images. The dataset consists of only a training set, containing a large number of examples and bytes.

原始信息汇总

数据集概述

数据集特征

• id: 数据记录的唯一标识符，数据类型为 int64。
• url: 数据记录的URL链接，数据类型为 string。
• text: 数据记录的文本内容，数据类型为 string。
• width: 图像的宽度，数据类型为 int32。
• height: 图像的高度，数据类型为 int32。
• image_phash: 图像的感知哈希值，数据类型为 string。
• text_length: 文本内容的长度，数据类型为 int32。
• word_count: 文本内容的单词数量，数据类型为 int32。
• num_tokens_bert: 使用BERT模型计算的文本token数量，数据类型为 int32。
• num_tokens_gpt: 使用GPT模型计算的文本token数量，数据类型为 int32。
• num_faces: 图像中检测到的人脸数量，数据类型为 int32。
• clip_similarity_vitb32: 使用ViT-B/32模型计算的CLIP相似度，数据类型为 float32。
• clip_similarity_vitl14: 使用ViT-L/14模型计算的CLIP相似度，数据类型为 float32。
• nsfw_score_opennsfw2: 使用OpenNSFW2模型计算的NSFW评分，数据类型为 float32。
• nsfw_score_gantman: 使用Gantman模型计算的NSFW评分，数据类型为 float32。
• watermark_score: 图像的水印评分，数据类型为 float32。
• aesthetic_score_laion_v2: 使用LAION-V2模型计算的美学评分，数据类型为 float32。

数据集分割

• train: 训练集，包含19,457,958条数据记录，总大小为5,088,632,348.775751字节。

数据集大小

• 下载大小: 4,066,401,574字节。
• 数据集总大小: 5,088,632,348.775751字节。

配置

• default: 默认配置，包含训练集数据文件，路径为 data/train-*。