p1atdev/danbooru-2024

该数据集主要用于存储和管理与图像相关的元数据，包括图像的尺寸、标签、评分、上传者信息等。数据集包含多个特征，如id、创建时间、更新时间、评分、来源、上下评分、收藏数、评级、图像尺寸、标签数量、标签字符串、媒体资产信息等。媒体资产信息包括文件扩展名、文件大小、MD5值等。数据集的分割信息显示，训练集包含8042822个样本，总大小为17048919608字节。This dataset is primarily used for storing and managing metadata related to images, including image dimensions, tags, ratings, uploader information, and more. The dataset contains multiple features such as id, creation time, update time, score, source, up and down scores, favorite count, rating, image dimensions, tag count, tag strings, media asset information, etc. Media asset information includes file extensions, file size, MD5 values, etc. The datasets split information shows that the training set contains 8,042,822 samples with a total size of 17,048,919,608 bytes.

搜集汇总

数据集介绍

构建方式

该数据集源自Danbooru社区，作为二次元图像标注领域的标杆性资源，其2024年版本通过系统化爬取与结构化整理构建而成。数据采集覆盖了自平台创立以来至2024年的海量图像元数据，每条记录均包含唯一标识符、时间戳、评分、收藏数等基础属性，并深度整合了多维度标签体系，涵盖通用标签、角色标签、版权标签、艺术家标签及元标签。此外，数据集还保留了图像文件信息如尺寸、扩展名、MD5哈希值，以及媒体资产变体（如不同分辨率版本）的URL链接，确保数据完整性与可追溯性。最终以Parquet格式存储，包含约804万条训练样本，总规模达17GB，兼顾了数据密度与处理效率。

特点

该数据集的核心特色在于其高度结构化的多标签分类体系，将图像内容细分为通用、角色、版权、艺术家及元标签五大类别，为细粒度图像理解与生成任务提供了丰富的语义标注。每个样本还附带社区驱动的质量信号，如评分、点赞与点踩计数、收藏数，以及审核状态标志（如是否被删除或标记），可辅助筛选高质量数据。此外，媒体资产字段内嵌了文件变体信息，支持动态加载不同分辨率的图像，适配多样化的模型训练需求。数据集的规模与时效性（截至2024年）使其成为当前二次元领域最全面的元数据资源之一，尤其适合用于训练多模态模型或标签预测系统。

使用方法

使用者可通过HuggingFace Datasets库直接加载该数据集，指定`p1atdev/danbooru-2024`名称即可获取训练拆分。数据以Parquet格式分片存储，支持流式读取以降低内存占用。在应用中，可提取`tag_string`字段解析多标签文本，或利用`file_url`与`large_file_url`字段下载对应图像进行多模态建模。对于标签预测任务，建议使用预定义的标签类别字段（如`tag_string_character`）作为监督信号；而图像生成任务则可结合`rating`（分级）与`score`（评分）字段过滤敏感或低质量样本。此外，`media_asset.variants`字段提供了图像缩放变体，便于直接获取标准化尺寸的输入数据。

背景与挑战

背景概述

Danbooru-2024数据集由开发者p1atdev于2024年创建，源自Danbooru社区图像托管平台，旨在为二次元动漫风格图像的多模态研究提供大规模结构化数据。该数据集收录了超过800万张图像及其详尽的元数据，涵盖评分、标签、上传者信息、媒体资产属性等维度，尤其以细粒度的标签体系（包括通用标签、角色标签、版权标签、艺术家标签和元标签）著称。其核心研究问题聚焦于如何利用社群标注的海量弱监督信号，推动图像分类、多标签识别、文本-图像检索以及生成式模型在特定亚文化领域中的性能提升。作为Danbooru系列数据集的年度更新版本，它延续了对社区驱动数据生态的探索，为计算机视觉与自然语言处理交叉领域的研究者提供了独特的高质量基准，尤其在动漫图像理解与创意内容生成方向具有显著影响力。

当前挑战

该数据集所解决的领域问题在于动漫图像的多标签分类与细粒度属性识别，这要求模型能够从海量噪声标签中学习到鲁棒的视觉语义映射。构建过程中面临的主要挑战包括：其一，标签体系极度细碎且存在长尾分布，部分标签出现频率极低，导致模型训练时面临严重的类别不平衡问题；其二，社群标注的标签质量参差不齐，存在不一致、冗余或缺失现象，需设计有效的标签清洗与规范化策略；其三，图像元数据维度复杂（如评分、文件格式、媒体资产变体等），如何整合这些异构信息以提升多模态学习效果是技术难点；其四，数据规模庞大（约17GB的元数据与对应的图像文件），对存储与计算资源提出了高要求，同时版权与伦理问题（如Pixiv ID的隐私关联）也需在数据发布与使用中谨慎处理。

常用场景

经典使用场景

在计算机视觉与多模态学习领域，p1atdev/danbooru-2024 数据集以其海量的二次元图像及精细的标签体系，成为训练图像生成模型与跨模态检索系统的经典基准。该数据集收录了超过800万幅来自Danbooru社区的插画作品，每幅图像均附有涵盖角色、版权、艺术家及元标签的详尽标注，为条件式图像生成（如基于文本提示的动漫风格创作）提供了丰富且结构化的训练素材。研究常利用其标签分类层次，探索细粒度视觉语义对齐，推动扩散模型与自回归生成模型在艺术领域的能力边界。

实际应用

在实际应用中，Danbooru-2024 数据集赋能了多项创意产业工具的开发。例如，基于其标签体系训练的文本到图像模型，可辅助插画师快速生成符合特定角色设定或画风要求的草稿；内容审核系统利用其评分与标签数据，实现敏感内容的自动过滤与分级。此外，在游戏开发与动漫制作流水线中，该数据集支撑了角色一致性生成与背景元素自动补全技术，降低了人工绘制的成本与时间开销，成为数字艺术领域自动化工作流的关键数据基石。

衍生相关工作

围绕Danbooru-2024数据集，学术界涌现出一系列标志性工作。例如，NovelAI的底层模型大量依赖Danbooru标签结构进行微调，推动了二次元图像生成质量的飞跃。此外，Waifu Diffusion等扩散模型以该数据集为训练基础，验证了大规模标签化艺术数据对生成多样性与风格保真度的提升。在表征学习方面，CLIP的变体模型如DeepDanbooru利用其标签进行视觉语义嵌入训练，实现了高精度自动标签预测。这些工作共同确立了Danbooru-2024在动漫视觉智能领域不可替代的地位。