AngelBottomless/danbooru-2023-sqlite-fixed-7110548

这是一个清理过的Danbooru 2023数据集的SQLite数据库版本，几乎完全重建。之前的SQLite数据库存在主要缺陷，特别是标签ID不匹配，导致数据与服务器上的实际数据不同。文件中提供了用于修改和添加帖子的额外脚本和示例文件，以便进行维护。此外，还展示了如何查看和修改数据集中的帖子信息，并解释了标签ID的变化和差异。

This is a cleaned-up and recreated version of the Danbooru 2023 dataset in SQLite format, addressing the issue of mismatched tag IDs in the previous version. The dataset includes discrepancy detection from ID 5139963 to 6859952, as well as the addition and removal of some tags. Additionally, scripts are provided for dataset maintenance and updates, such as modifying post information and adding new posts.

原始信息汇总

sanitized-danbooru2023-sqlite 数据集

概述

• 许可证: MIT
• 任务类别:
  • 文本到图像
  • 图像分类
• 大小类别: 100M<n<1B
• 名称: sanitized-danbooru2023-sqlite

描述

这是一个经过清理的版本（几乎完全重新创建）的 Danbooru 2023 数据集，之前的 SQLite 数据库存在重大缺陷，特别是标签 ID 不匹配，导致数据与服务器实际数据不一致。

数据集特点

• 数据清理: 主要从 ID 5139963-6859952 开始检测并修正了大部分不一致问题。
• 信息保留: 上传者 ID 等次要信息未进行修正。
• 标签差异: 示例帖子 6719955 展示了标签列表的差异，实际数据与显示数据不一致。

附加工具

• view-dataset.py: 用于获取帖子信息的脚本。
• commit_difference.py: 根据差异 JSONL 文件修改数据库信息的脚本。
• fix-tags.py: 用于反映实际标签使用次数，更新标签流行度的脚本。
• add_post.py: 用于直接向数据集中添加更多最新帖子数据的脚本。

注意事项

• 标签 ID 不匹配: 实际 Danbooru 标签 ID 与数据库不匹配，这是为了跳过没有实际帖子使用的标签。
• 数据格式: 差异 JSONL 文件必须包含字符串形式的数据，而不是标签 ID。