Ar4ikov/civitai-sd-337k

数据集civitai-stable-diffusion-337k包含337,000个Civitai图像的URL及其相关提示信息。数据是通过Civitai API获取的。数据集的JSON结构包括图像ID、URL、哈希值、尺寸、NSFW标记、创建时间、帖子ID、统计信息（如点赞、评论等）、元数据（如模型、步骤、提示、采样器、CFG比例、Clip skip、资源、模型哈希、高分辨率放大、高分辨率放大器、负面提示、去噪强度等）以及用户名。数据集用于训练一个模型，项目链接提供了更多信息。

原始信息汇总

数据集概述

• 名称: civitai-stable-diffusion-337k
• 语言: 英语 (en)
• 创建者: thefcraft
• 大小: 1M<n<10M
• 来源: civitai
• 数据集描述: 包含337,000张来自civitai的图像URL及相关提示信息。数据集通过civitai API获取所有提示。

数据结构

• 文件: .civitai.json

• 结构: json { items: [ { id: 数字, url: 图片URL, hash: 哈希值, width: 图片宽度, height: 图片高度, nsfw: 是否包含成人内容, createdAt: 创建时间, postId: 帖子ID, stats: 统计信息, meta: 元数据信息 }, ... ], metadata: { totalItems: 总项数 } }

• 元数据信息示例: json { ENSD: 字符串, Size: 图片尺寸, seed: 种子值, Model: 模型名称, steps: 步骤数, prompt: 提示文本, sampler: 采样器, cfgScale: CFG比例, Clip skip: 跳过剪辑, resources: 资源列表, Model hash: 模型哈希, Hires upscale: 高分辨率放大比例, Hires upscaler: 高分辨率放大器, negativePrompt: 负面提示 }

搜集汇总

数据集介绍

构建方式

该数据集源自Civitai平台，一个专注于Stable Diffusion模型与图像生成的社区。构建过程中，通过调用Civitai API系统性地采集了约33.7万条图像元数据，每条记录包含图像URL、生成提示词、模型参数及用户交互统计等关键信息。数据以JSON格式存储，核心字段涵盖图像标识符、尺寸、NSFW标签、创建时间以及详细的生成配置，如种子值、采样器、CFG尺度与负面提示词。元数据部分记录了总条目数，确保数据集的完整性与可追溯性。这一构建方式旨在为文本到图像生成研究提供结构化的真实世界样本，尤其聚焦于提示词与生成结果的关联分析。

特点

该数据集的核心特点在于其丰富的多维信息整合。每条数据不仅包含图像URL与哈希值，还详细记录了生成过程中的技术参数，包括模型名称、步数、采样器类型及高清放大设置，为重现生成结果提供了完整线索。提示词与负面提示词的并存，结合用户交互统计如点赞、评论与表情反馈，使得数据集兼具生成研究与社区偏好分析的双重价值。NSFW标签的标注进一步支持了内容安全过滤的研究。此外，数据集规模达33.7万条，覆盖多样化的模型与风格，为大规模多模态学习任务奠定了坚实基础。

使用方法

该数据集适用于文本到图像生成模型的训练与评估，尤其侧重于提示词工程与生成参数优化。研究者可直接解析JSON文件中的'items'列表，提取prompt、negativePrompt与meta字段用于训练条件生成模型。图像可通过url字段下载，结合hash值进行去重或缓存管理。stats字段中的用户反馈可用于构建偏好学习或奖励模型。数据集还特别适用于NSFW内容检测任务，利用nsfw标签进行二分类模型训练。项目已提供基于该数据集的模型训练示例，建议采用Python的json库加载数据，并依据具体任务筛选所需字段进行下游处理。

背景与挑战

背景概述

在生成式人工智能蓬勃发展的浪潮中，文本到图像模型如Stable Diffusion的崛起，催生了海量由用户创作与分享的视觉内容。Civitai作为该领域内极具影响力的社区平台，汇聚了数以百万计的图像及其配套的生成参数与提示词。Ar4ikov/civitai-sd-337k数据集由研究者thefcraft于2023年构建，其核心目标在于系统性地收集并整理来自Civitai的337,000余条图像元数据，涵盖URL、提示词、模型参数及用户交互统计等关键信息。该数据集的问世，为深入理解文本引导图像生成的模式、优化提示词工程、以及开发针对特定内容（如NSFW）的检测模型提供了坚实的数据基础，对推动生成式AI的可控性与安全研究具有重要价值。

当前挑战

该数据集在构建与应用过程中面临多重挑战。首先，从领域问题层面，其旨在解决的NSFW内容检测任务极具复杂性，由于生成图像的风格多样性与提示词的语义模糊性，传统基于视觉特征的分类器难以精准捕捉隐含的成人内容，亟需多模态的深度理解。其次，在构建过程中，数据采集完全依赖Civitai的公开API，面临接口速率限制、内容动态更新及URL失效等不稳定因素，导致数据集的时效性与完整性难以保障。此外，图像本身不包含于数据集中，仅提供URL，使得数据集的长期可用性受制于外部图床的稳定性。元数据中提示词包含大量LoRA模型引用与特殊标记，对文本清洗与标准化处理提出了额外要求。

常用场景

经典使用场景

在生成式人工智能领域，尤其是基于扩散模型的文本到图像生成技术中，提示词（prompt）的精细调控是决定输出图像质量与风格的关键。Ar4ikov/civitai-sd-337k数据集汇聚了来自Civitai平台的逾33万条真实用户生成的图像与提示词对，并附带了模型参数、采样器设置、负面提示词等丰富的元信息。该数据集最经典的使用场景是作为大规模多模态提示词-图像对齐研究的训练语料，用于训练和评估模型在理解复杂、嵌套式提示词（如LoRA权重、负面提示词组合）时的表现能力，从而推动文本到图像生成中对语义精确性与风格一致性的建模研究。

解决学术问题

该数据集有效解决了当前学术研究中高质量、多样化提示词-图像配对数据匮乏的核心瓶颈。以往研究多依赖人工设计的简单提示词或小规模合成数据，难以反映真实用户创作的复杂性与多样性。Ar4ikov/civitai-sd-337k通过提供海量带有详细元数据的真实案例，使研究者能够系统性地探索提示词结构、模型参数与生成结果之间的非线性映射关系，进而推动了对扩散模型潜在空间解耦、负面提示词抑制机制以及多模态语义对齐等关键学术问题的深入理解，为生成式模型的评估与优化奠定了坚实的数据基础。

衍生相关工作

该数据集衍生了一系列具有影响力的经典工作。例如，基于此数据集的NSFW提示词检测项目（nsfw-prompt-detection-sd），通过训练二分类模型实现了对生成图像潜在风险的前端预警，显著提升了内容审核的时效性。此外，研究者利用该数据分析了不同采样器与CFG尺度对图像风格的影响，提出了自适应参数选择策略。在提示词工程领域，基于该数据训练的语义解析模型能够自动提取LoRA权重与负面提示词的交互模式，推动了可解释生成模型的发展。这些工作不仅验证了数据集在提示词理解与生成控制研究中的核心价值，也为后续更复杂的多模态生成任务提供了可复用的基准与基线方法。