AngelBottomless/danbooru-2023-sqlite-fixed-7110548

这是一个清理过的Danbooru 2023数据集的SQLite数据库版本，几乎完全重建。之前的SQLite数据库存在主要缺陷，特别是标签ID不匹配，导致数据与服务器上的实际数据不同。文件中提供了用于修改和添加帖子的额外脚本和示例文件，以便进行维护。此外，还展示了如何查看和修改数据集中的帖子信息，并解释了标签ID的变化和差异。

This is a cleaned-up and recreated version of the Danbooru 2023 dataset in SQLite format, addressing the issue of mismatched tag IDs in the previous version. The dataset includes discrepancy detection from ID 5139963 to 6859952, as well as the addition and removal of some tags. Additionally, scripts are provided for dataset maintenance and updates, such as modifying post information and adding new posts.

原始信息汇总

sanitized-danbooru2023-sqlite 数据集

概述

• 许可证: MIT
• 任务类别:
  • 文本到图像
  • 图像分类
• 大小类别: 100M<n<1B
• 名称: sanitized-danbooru2023-sqlite

描述

这是一个经过清理的版本（几乎完全重新创建）的 Danbooru 2023 数据集，之前的 SQLite 数据库存在重大缺陷，特别是标签 ID 不匹配，导致数据与服务器实际数据不一致。

数据集特点

• 数据清理: 主要从 ID 5139963-6859952 开始检测并修正了大部分不一致问题。
• 信息保留: 上传者 ID 等次要信息未进行修正。
• 标签差异: 示例帖子 6719955 展示了标签列表的差异，实际数据与显示数据不一致。

附加工具

• view-dataset.py: 用于获取帖子信息的脚本。
• commit_difference.py: 根据差异 JSONL 文件修改数据库信息的脚本。
• fix-tags.py: 用于反映实际标签使用次数，更新标签流行度的脚本。
• add_post.py: 用于直接向数据集中添加更多最新帖子数据的脚本。

注意事项

• 标签 ID 不匹配: 实际 Danbooru 标签 ID 与数据库不匹配，这是为了跳过没有实际帖子使用的标签。
• 数据格式: 差异 JSONL 文件必须包含字符串形式的数据，而不是标签 ID。

搜集汇总

数据集介绍

构建方式

该数据集基于Danbooru 2023图像数据库构建，针对此前版本中标签ID错位、数据与服务器不一致等核心缺陷进行了彻底修复与清洗。构建过程涵盖了对5139963至6859952区间内大量帖子的差异检测，通过比对实际服务器数据与原始数据库记录，识别并修正了标签列表中的偏移与缺失问题。此外，数据集附带了专用脚本，支持用户通过提交差异JSONL文件来更新数据库信息，亦提供了新增帖子的功能，从而确保数据集能够持续反映最新的标注状态。

特点

本数据集的核心特色在于其高精度的标签对齐与数据一致性。每个帖子的通用标签、版权标签、角色标签、艺术家标签及元标签均经过严格校验，避免了因ID错位导致的语义混乱。例如，明确区分了'virtual_youtuber'与'sad_keanu_(meme)'等标签的正确归属，纠正了跨标签类型的偏移。同时，数据集保留了标签的实际使用频次统计，并通过'fix-tags.py'脚本确保标签流行度的动态更新，为图像分类与文本到图像生成任务提供了可靠、无冗余的标注基础。

使用方法

用户可通过'view-dataset.py'脚本快速检索单个帖子的完整标签信息，直观验证数据准确性。若需批量修正或扩充数据，可利用'commit_difference.py'导入预先准备的JSONL差异文件，其中每条记录需包含帖子ID及其对应的正确标签字符串。此外，'add_post.py'允许用户增量添加最新帖子，并内置了重复检测机制，避免覆盖已有非空标签的内容。推荐结合HuggingFace的datasets库加载SQLite文件，进行高效的数据迭代与模型训练。

背景与挑战

背景概述

Danbooru作为动漫插画领域规模最大的图像标注数据库，其标签体系与图像内容的精准映射对多模态模型训练至关重要。由KBlueLeaf团队于2023年构建的原始SQLite数据集虽覆盖超700万条图文对，却因标签ID错位与数据同步缺陷，导致图像-标签关联存在系统性偏差。AngelBottomless团队于2024年发布了修复版本，通过重构数据库结构并修正513万至685万条记录间的标签偏移问题，显著提升了数据可靠性。该数据集以MIT协议开源，涵盖文本到图像生成与图像分类两大任务，其标签层级（通用标签、版权标签、角色标签等）的细粒度校正为动漫领域视觉理解研究提供了更严谨的基准，尤其对可控图像生成与多标签分类任务具有里程碑意义。

当前挑战

该数据集面临的核心挑战在于标签系统的动态演化与数据一致性维护。领域层面，Danbooru社区标签频繁新增、合并或重定向（如虚拟主播标签的迭代），导致静态数据集难以同步现实标注规范，模型可能因标签偏移产生错误关联。构建过程中，原始数据库存在标签ID跨表错位问题，如标签'otonose_kanade'与're glass_(hololive)'的ID互换，需通过差异对比文件逐条修复。此外，上传者ID等次要字段仍存在残留偏差，且增量更新机制依赖外部JSON差异文件，缺乏自动化校验流程，使得数据长期维护面临版本兼容性与人工校验成本的双重挑战。

常用场景

经典使用场景

在图像生成与多标签分类领域，Danbooru 2023 数据集以其海量的动漫风格图像与精细的标签体系，成为训练文本到图像模型与图像分类器的经典基准。该数据集涵盖超过七百万张图像，每张图像均附有通用标签、版权标签、角色标签、艺术家标签及元标签，为多标签分类任务提供了丰富的标注信息。研究者常利用该数据集训练诸如 Stable Diffusion 等扩散模型，使其能够根据复杂的标签组合生成高度符合语义的图像；同时，它也常用于评估模型在细粒度图像分类上的表现，尤其是对动漫角色、画师风格与作品来源的精准识别。其清洗后的 SQLite 数据库版本修正了标签 ID 错位问题，确保了数据一致性与实验可复现性，因而被广泛采纳为动漫图像理解研究的基石。

实际应用

在实际应用中，Danbooru 2023 数据集被广泛用于构建动漫图像生成工具、智能标签推荐系统以及内容审核平台。例如，基于该数据集训练的文本到图像模型能够支持用户通过自然语言描述生成特定风格、角色或场景的动漫插画，广泛应用于游戏原画设计、漫画辅助创作与虚拟主播形象生成等创意产业。此外，其精细的标签体系使得图像检索与自动标注系统得以实现，帮助图库管理平台快速为海量图像分配准确的描述性标签，提升搜索效率。在内容安全领域，该数据集还可用于训练敏感内容过滤器，通过多标签分类识别不当图像，辅助平台进行合规审查。这些应用不仅降低了人工标注成本，还显著提升了动漫内容生产与管理的智能化水平。

衍生相关工作

基于 Danbooru 2023 数据集，学术界衍生了一系列经典工作，涵盖数据集构建、模型优化与评估基准等方面。其中，KBlueLeaf 最初发布的 danbooru2023-sqlite 数据集为社区提供了结构化存储方案，而 AngelBottomless 的修复版本则进一步提升了数据完整性，成为后续研究的数据基石。在模型层面，Waifu Diffusion 等扩散模型直接利用该数据集进行微调，实现了对动漫风格的精准生成；Danbooru 标签体系也被用于改进 CLIP 模型在动漫领域的视觉-语言对齐能力。此外，该数据集催生了多项关于多标签分类中长尾分布处理与标签关系建模的研究，例如通过图神经网络捕捉标签共现模式。这些工作共同构建了从数据清洗到模型部署的完整技术链条，持续推动着动漫人工智能领域的发展。