bigdata-pw/civitai

Civitai Images数据集包含来自Civitai的图像和元数据，主要用于文本到图像和图像到文本的任务。数据集的大小在1M到10M之间，具体包含约4.1M的图像。数据格式为WebDataset，每个分片包含10k个图像，大约2GB大小，格式为jpg和json。数据集中的`__key__`字段代表Civitai图像ID。此外，有约464k图像没有`meta`字段，这些图像被排除在外，约占收集图像的10%。部分条目实际上是视频文件，这些视频文件将单独发布。Civitai在上传时提取元数据，`meta`字段中的具体内容取决于使用的UI，一些常见的字段如`prompt`，其他字段则特定于UI。数据集还包括反应数据。

The Civitai Images dataset contains images and metadata from Civitai, primarily used for text-to-image and image-to-text tasks. The dataset size ranges between 1M and 10M, specifically containing approximately 4.1M images. The data format is WebDataset, with each shard containing 10k images, approximately 2GB in size, in jpg and json formats. The `__key__` field in the dataset represents the Civitai image ID. Additionally, about 464k images lack the `meta` field and are excluded, accounting for about 10% of the collected images. Some entries are actually video files, which will be released separately. Civitai extracts metadata upon upload, and the specific fields in `meta` depend on the UI used, with some common fields like `prompt` and others specific to the UI. The dataset also includes reaction data.

原始信息汇总

Civitai Images 数据集概述

基本信息

• 许可证: Apache 2.0
• 任务类别:
  • 文本到图像
  • 图像到文本
• 数据集名称: Civitai Images
• 数据规模: 1M < n < 10M

数据集统计

• 总图像数量: 约4.1M

数据格式

• 格式: WebDataset
  • 分片大小: 每分片包含10k图像，约2GB
  • 文件类型: jpg + json
  • 键值: __key__ 对应Civitai图像ID

备注

• 约464k图像因缺少meta字段被排除，占总图像的约10%。
• 部分条目的文件实际上是视频，这些将单独发布。
• Civitai在上传时提取元数据，meta字段的具体内容取决于使用的UI，常见字段如prompt，其他字段可能特定于UI。
• 包含反应数据。