ppbrown/danbooru-cleaned

该数据集是一个协作项目，旨在清理Danbooru数据集中的混乱内容。Danbooru数据集包含大量（主要是免费的）动漫风格图像，这些图像已经单独标记。然而，这些图像被不加选择地包含在内，其中一些图像可能涉及版权问题、带有水印、包含法律上可疑的内容或质量不佳。该项目的目标是从中筛选出干净、适合AI训练的图像。清理过程包括从已调整大小的图像中删除不符合标准的图像，但不包括去除签名或水印。该项目是一个有组织的、众包的志愿者努力，涉及数百个数据块，每个数据块可能包含4000-5000张图像。

This dataset is a collaborative project aimed at cleaning up problematic content within the Danbooru dataset. The Danbooru dataset contains a large volume of (mostly free) anime-style images, all of which have been individually tagged. However, these images were included indiscriminately, and some may involve copyright issues, carry watermarks, contain legally questionable content, or be of poor quality. The goal of this project is to filter out clean images suitable for AI training from this dataset. The cleaning process involves removing non-compliant images from the resized image set, but does not include the removal of signatures or watermarks. This project is an organized, crowdsourced volunteer effort involving hundreds of data chunks, each potentially containing 4,000 to 5,000 images.

原始信息汇总

数据集概述

数据集名称

Danbooru 数据集清理项目

数据集目的

该项目旨在清理Danbooru数据集中的不合适内容，提取出适合AI训练的干净图像。

数据集内容

• 包含大量已单独标记的动漫风格图像。
• 数据集中的图像已进行适当调整大小。
• 每个数据块包含约4000-5000张图像。

数据集处理方式

• 不修改图像中的签名或水印，而是直接从数据集中排除。
• 通过社区志愿者的协作，逐个压缩文件删除不符合标准的图像。

数据集使用建议

• 建议用户使用图像目录浏览器选择特定主题或风格的图像进行AI训练。
• 用户可添加自定义标签以增强数据集的适用性。

当前数据段分配情况

• 0000-0010: ppbrown (data-0001 - data-0003 已完成)
• 0010: 已完成
• 0040: 已完成

许可证

openrail

标签

• not-for-all-audiences

搜集汇总

数据集介绍

构建方式

在动漫图像数据集领域，Danbooru数据集虽以丰富的手动标签著称，却因包含版权图像、水印及低质量内容而难以直接用于AI训练。为此，本数据集发起了一项众包清理工程，基于animelover/danbooru2022中已适度缩放的图像，采用逐块复制并剔除“不良”图像的方式构建。每个数据块包含约4000至5000张图像，志愿者依据预设的筛选标准（参见STANDARDS.txt）进行集体协作，仅保留干净、合法且高质量的部分，最终整合为可供AI训练直接使用的精选集合。

特点

本数据集的核心特色在于其经过严格人工筛选的纯净性与高可用性。所有图像均源自Danbooru社区的手动标注体系，每张图像均附带对应的.txt标签文件，确保了标签的准确性与丰富度。与原始数据集不同，本版本彻底排除了版权存疑、含水印、主题敏感或质量低劣的图像，仅保留真正适合AI训练的优质样本。这种众包质量控制的模式，使得数据集在保持大规模的同时，显著提升了训练素材的一致性与可靠性。

使用方法

使用本数据集进行AI训练时，建议避免直接全量输入训练器，以免因风格或主题混杂导致输出不连贯。用户可借助图像目录浏览器，按题材或风格挑选特定子集进行针对性训练。此外，可在现有标签基础上添加自定义标签，以增强模型对特定概念的识别能力。数据集以分块压缩包的形式提供，便于按需下载和局部处理，有效降低存储与计算资源的占用。

背景与挑战

背景概述

在动漫图像生成与风格迁移领域，高质量、标注精细的数据集是推动模型性能突破的关键基石。Danbooru数据集作为动漫风格图像的宝库，以其海量图像及每张图片独立标注的标签体系而闻名，为AI训练提供了丰富的素材。然而，该数据集在原始状态下存在诸多问题，包括版权图像未经筛选、水印干扰、内容法律风险以及图像质量参差不齐等，严重制约了其在AI训练中的直接应用。为此，ppbrown等研究人员于近年来发起了一项协作清理计划，旨在从Danbooru数据集中提取出干净、合规且适配AI训练的优质图像子集。这一努力依托于HuggingFace平台上的animelover/danbooru2022数据集，通过众包方式逐块筛选，已初步完成部分数据区块的清理工作，为动漫AI研究提供了更可靠的训练基础。

当前挑战

该数据集面临的核心挑战可归纳为两个层面。在领域问题层面，原始Danbooru数据集虽包含丰富标签，但图像内容混杂，存在版权争议、水印覆盖、低质量图像及不适宜主题等缺陷，导致直接用于训练时模型易学习到噪声或违规特征，影响生成图像的合规性与美学质量。在构建过程层面，清理工作需处理数百个数据区块，每个区块含4000至5000张图像，人工逐张筛选效率低下且标准难以统一；同时，众包模式下志愿者需依据STANDARDS.txt文件中的标准判断图像删除与否，主观性较强，可能引入不一致性。此外，即便清理完成，用户仍需根据主题或风格手动分组图像并添加自定义标签，以提升训练结果的连贯性，这进一步增加了数据使用的复杂度。

常用场景

经典使用场景

在动漫图像生成与风格迁移的研究领域中，Danbooru数据集因其海量且附带详细标签的二次元图像而备受瞩目，但原始数据充斥着版权争议、低质量或不合规内容，严重制约了模型训练效果。ppbrown/danbooru-cleaned数据集通过众包协作，从原始Danbooru2022数据集中精心筛选出干净、无版权隐患且图像质量上乘的样本，为动漫风格AI模型提供了高纯度训练素材。其经典使用场景聚焦于文本到图像生成任务，研究者可依据图像附带的标签文件，针对特定角色、场景或画风进行定向微调，从而显著提升生成内容的风格一致性与主题准确性，避免了噪声数据对模型收敛的干扰。

实际应用

在产业实践中，该数据集为动漫创作辅助工具、虚拟角色生成平台及二次元风格滤镜应用提供了可靠的数据基石。例如，游戏开发团队可利用其精选图像训练角色立绘自动生成模型，大幅缩短原画设计周期；短视频平台可基于此微调风格迁移算法，实现用户上传照片到动漫化效果的实时转换。此外，版权合规的图像库使得商业化部署无需担忧侵权纠纷，尤其适合需要严格内容审核的社交媒体与数字艺术市场，从而加速了AI在文化创意产业中的落地进程。

衍生相关工作

围绕该清洁数据集，衍生了一系列标志性研究工作。一方面，研究者基于其标签系统开发了多标签分类模型，用于自动识别图像中的角色、表情与背景元素，提升了标签补全效率；另一方面，以该数据为训练集的扩散模型在动漫风格生成竞赛中屡获佳绩，催生了如NovelAI等商业应用的底层技术突破。此外，数据清洗流程本身被总结为方法论，启发后续工作构建针对不同艺术风格的过滤标准，例如针对写实或水墨画数据集的类似清洗框架，形成了数据预处理领域的开源协作范式。