Disty0/danbooru-json

该数据集是从Danbooru网站保存的JSON响应，时间跨度为2024年9月。数据集的起始ID为1，结束ID为8180000，文件数量为8141037。文件夹名称为`int(id / 10000)`，文件名为`id.json`。数据集未关联任何账户。此外，`danbooru-json.tar.gz`和`danbooru-json.tar`是相同的文件，前者是使用gzip压缩的。

Saved JSON responses from Danbooru over a month in September 2024, covering IDs from 1 to 8180000 with a total of 8141037 files. Files are grouped by ID and stored in folders named as the integer part of ID divided by 10000, with file names as the JSON format of the ID. The dataset pertains to anime and art, with file sizes between 1M and 10M.

搜集汇总

数据集介绍

构建方式

该数据集源自Danbooru社区，通过直接爬取该平台的JSON响应数据构建而成。数据覆盖从ID 1至9500000的广泛范围，共计包含9,445,886个文件。在组织架构上，数据集采用层级化存储策略：以ID除以10000的整数部分作为文件夹名称，每个JSON文件则以对应ID命名。数据采集分阶段进行，其中ID 0至8180000的数据于2024年9月获取，ID 8180000至9000000的数据于2025年3月获取，而ID 9000000至9500000的数据则于2025年6月完成收集，确保了内容的持续更新与时间跨度。

使用方法

使用者可通过Python等编程语言轻松加载该数据集，利用ID与文件路径的映射关系（即文件夹名为int(ID/10000)，文件名为ID.json）快速定位所需数据。建议在处理时采用流式或分块读取策略，以应对近千万级别文件的存储与内存挑战。数据集适用于训练文本到图像生成模型、图像标注系统或进行动漫风格分析，直接解析JSON字段即可提取标签与图像元信息，无需额外预处理。

背景与挑战

背景概述

在文本到图像生成领域，高质量、大规模且带有详细标注的数据集是推动模型性能提升的关键基石。Danbooru作为动漫艺术领域最具影响力的图像数据库之一，其结构化元数据（如标签、评分、角色信息）为多模态学习提供了宝贵资源。Disty0/danbooru-json数据集由独立研究者于2024年至2025年间分阶段创建，系统性地爬取了Danbooru平台上从ID 1至9500000的约944万条JSON响应记录。该数据集的核心研究问题在于如何以标准化格式保存和分发Danbooru的完整元数据，从而支撑动漫风格图像生成的训练与评估。其覆盖面之广（涵盖近千万条记录）和时间跨度之完整（包含2024年至2025年的多次更新），使其成为研究动漫图像生成、标签语义理解及数据分布演变的重要基准，对推动社区驱动的多模态数据集构建范式具有显著影响力。

当前挑战

该数据集所解决的领域挑战主要源于动漫图像生成中数据标注的异构性与规模难题。首先，Danbooru标签体系包含数万个自定义标签，其语义关联复杂且存在长尾分布，模型需从近千万条JSON记录中学习细粒度视觉-语义映射，这对标签噪声处理与多标签分类算法提出严峻考验。其次，数据集构建过程中面临技术挑战：爬取策略需规避服务器负载限制，9.5百万ID的跨度要求分段执行（如2024年9月完成0至818万ID，2025年3月更新至900万ID），且需确保文件夹按ID/10000分片存储的索引效率。此外，缺失账户信息（Account: None）意味着无法追溯上传者，可能引入数据所有权与伦理合规风险，而不同时间段的爬取间隔（如2024年9月与2025年6月的数据）可能导致标签分布偏移，影响模型训练的时间一致性。

常用场景

经典使用场景

在文本到图像生成领域，Danbooru数据集因其丰富的二次元图像与精细的标签体系，成为训练和评估动漫风格图像生成模型的经典基准。研究者常利用其海量的图像-标签对，构建条件生成模型，如基于扩散或自回归架构的模型，以学习从文字描述到高保真动漫图像的映射关系。该数据集覆盖了从角色、姿势到背景元素的广泛概念，为多模态学习提供了结构化且规模庞大的训练资源。

解决学术问题

Danbooru数据集有效解决了动漫图像生成中数据稀缺与标签不一致的学术难题。其大规模、高质量且人工标注的标签系统，为研究细粒度视觉语义对齐、长尾分布下的生成能力以及多标签分类问题提供了坚实的数据基础。通过该数据集，学者们得以深入探索条件生成模型中的可控性、多样性以及风格迁移等核心挑战，推动了生成式模型在特定艺术风格领域的理论发展。

实际应用

在实际应用中，该数据集支撑了众多面向创作者的AI辅助工具，例如自动生成角色立绘、根据剧情描述生成漫画分镜以及个性化头像创作。游戏开发者和动画工作室可基于此数据集训练的模型，快速生成概念草图或填充背景素材，显著降低人力成本。此外，其标签体系还可用于构建图像检索系统，帮助用户通过文本关键词在海量图库中精准定位所需素材。

数据集最近研究

最新研究方向

在文本到图像生成领域，Danbooru JSON数据集因其对二次元艺术图像的丰富标注而受到广泛关注。该数据集通过系统化爬取Danbooru图库，收录了从1到950万的图像元数据，涵盖标签、类别等结构化信息，为动漫风格图像的生成模型训练提供了高质量标注资源。近期研究聚焦于利用其精细的标签体系优化扩散模型的语义理解能力，尤其是在角色、场景和风格等细粒度控制方面。随着2024年至2025年间数据持续更新至最新版本，该数据集在推动动漫图像生成的前沿探索中扮演关键角色，支持了诸如可控图像合成、风格迁移等热点任务，并促进了多模态模型在文化创意产业中的实际应用，其大规模标注特性为学术研究与工业部署间的桥梁搭建奠定了数据基础。