CyberHarem/yamato_pokemon
收藏Hugging Face2024-01-16 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/CyberHarem/yamato_pokemon
下载链接
链接失效反馈官方服务:
资源简介:
---
license: mit
task_categories:
- text-to-image
tags:
- art
- not-for-all-audiences
size_categories:
- n<1K
---
# Dataset of yamato (Pokémon)
This is the dataset of yamato (Pokémon), containing 58 images and their tags.
The core tags of this character are `long_hair, breasts, blonde_hair, earrings, purple_eyes, large_breasts, twintails`, which are pruned in this dataset.
Images are crawled from many sites (e.g. danbooru, pixiv, zerochan ...), the auto-crawling system is powered by [DeepGHS Team](https://github.com/deepghs)([huggingface organization](https://huggingface.co/deepghs)).
## List of Packages
| Name | Images | Size | Download | Type | Description |
|:-----------------|---------:|:----------|:----------------------------------------------------------------------------------------------------------------|:-----------|:---------------------------------------------------------------------|
| raw | 58 | 45.81 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamato_pokemon/resolve/main/dataset-raw.zip) | Waifuc-Raw | Raw data with meta information (min edge aligned to 1400 if larger). |
| 800 | 58 | 27.87 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamato_pokemon/resolve/main/dataset-800.zip) | IMG+TXT | dataset with the shorter side not exceeding 800 pixels. |
| stage3-p480-800 | 103 | 49.87 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamato_pokemon/resolve/main/dataset-stage3-p480-800.zip) | IMG+TXT | 3-stage cropped dataset with the area not less than 480x480 pixels. |
| 1200 | 58 | 41.30 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamato_pokemon/resolve/main/dataset-1200.zip) | IMG+TXT | dataset with the shorter side not exceeding 1200 pixels. |
| stage3-p480-1200 | 103 | 69.60 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamato_pokemon/resolve/main/dataset-stage3-p480-1200.zip) | IMG+TXT | 3-stage cropped dataset with the area not less than 480x480 pixels. |
### Load Raw Dataset with Waifuc
We provide raw dataset (including tagged images) for [waifuc](https://deepghs.github.io/waifuc/main/tutorials/installation/index.html) loading. If you need this, just run the following code
```python
import os
import zipfile
from huggingface_hub import hf_hub_download
from waifuc.source import LocalSource
# download raw archive file
zip_file = hf_hub_download(
repo_id='CyberHarem/yamato_pokemon',
repo_type='dataset',
filename='dataset-raw.zip',
)
# extract files to your directory
dataset_dir = 'dataset_dir'
os.makedirs(dataset_dir, exist_ok=True)
with zipfile.ZipFile(zip_file, 'r') as zf:
zf.extractall(dataset_dir)
# load the dataset with waifuc
source = LocalSource(dataset_dir)
for item in source:
print(item.image, item.meta['filename'], item.meta['tags'])
```
## List of Clusters
List of tag clustering result, maybe some outfits can be mined here.
### Raw Text Version
| # | Samples | Img-1 | Img-2 | Img-3 | Img-4 | Img-5 | Tags |
|----:|----------:|:--------------------------------|:--------------------------------|:--------------------------------|:--------------------------------|:--------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------|
| 0 | 7 |  |  |  |  |  | 1girl, solo, medium_breasts, nipples, nude, jewelry, female_pubic_hair, lipstick, navel, pussy, orange_hair |
| 1 | 8 |  |  |  |  |  | 1girl, hetero, jewelry, penis, pussy, 1boy, solo_focus, uncensored, nipples, sex, blush, anal, cum, completely_nude, elbow_gloves, navel |
### Table Version
| # | Samples | Img-1 | Img-2 | Img-3 | Img-4 | Img-5 | 1girl | solo | medium_breasts | nipples | nude | jewelry | female_pubic_hair | lipstick | navel | pussy | orange_hair | hetero | penis | 1boy | solo_focus | uncensored | sex | blush | anal | cum | completely_nude | elbow_gloves |
|----:|----------:|:--------------------------------|:--------------------------------|:--------------------------------|:--------------------------------|:--------------------------------|:--------|:-------|:-----------------|:----------|:-------|:----------|:--------------------|:-----------|:--------|:--------|:--------------|:---------|:--------|:-------|:-------------|:-------------|:------|:--------|:-------|:------|:------------------|:---------------|
| 0 | 7 |  |  |  |  |  | X | X | X | X | X | X | X | X | X | X | X | | | | | | | | | | | |
| 1 | 8 |  |  |  |  |  | X | | | X | | X | | | X | X | | X | X | X | X | X | X | X | X | X | X | X |
提供机构:
CyberHarem原始信息汇总
数据集概述
数据集基本信息
- 名称: yamato (Pokémon)
- 许可证: MIT
- 任务类别: text-to-image
- 标签: art, not-for-all-audiences
- 规模: n<1K
数据集内容
- 图像数量: 58张
- 核心标签: long_hair, breasts, blonde_hair, earrings, purple_eyes, large_breasts, twintails
数据集下载
| 名称 | 图像数量 | 大小 | 类型 | 描述 |
|---|---|---|---|---|
| raw | 58 | 45.81 MiB | Waifuc-Raw | 包含元信息的原始数据(最小边对齐到1400像素,如果更大)。 |
| 800 | 58 | 27.87 MiB | IMG+TXT | 短边不超过800像素的数据集。 |
| stage3-p480-800 | 103 | 49.87 MiB | IMG+TXT | 3阶段裁剪数据集,区域不小于480x480像素。 |
| 1200 | 58 | 41.30 MiB | IMG+TXT | 短边不超过1200像素的数据集。 |
| stage3-p480-1200 | 103 | 69.60 MiB | IMG+TXT | 3阶段裁剪数据集,区域不小于480x480像素。 |
标签聚类结果
原始文本版本
| # | 样本数量 | 图像1 | 图像2 | 图像3 | 图像4 | 图像5 | 标签 |
|---|---|---|---|---|---|---|---|
| 0 | 7 | ![]() |
![]() |
![]() |
![]() |
![]() |
1girl, solo, medium_breasts, nipples, nude, jewelry, female_pubic_hair, lipstick, navel, pussy, orange_hair |
| 1 | 8 | ![]() |
![]() |
![]() |
![]() |
![]() |
1girl, hetero, jewelry, penis, pussy, 1boy, solo_focus, uncensored, nipples, sex, blush, anal, cum, completely_nude, elbow_gloves, navel |
表格版本
| # | 样本数量 | 图像1 | 图像2 | 图像3 | 图像4 | 图像5 | 1girl | solo | medium_breasts | nipples | nude | jewelry | female_pubic_hair | lipstick | navel | pussy | orange_hair | hetero | penis | 1boy | solo_focus | uncensored | sex | blush | anal | cum | completely_nude | elbow_gloves |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 7 | ![]() |
![]() |
![]() |
![]() |
![]() |
X | X | X | X | X | X | X | X | X | X | X | |||||||||||
| 1 | 8 | ![]() |
![]() |
![]() |
![]() |
![]() |
X | X | X | X | X | X | X | X | X | X | X | X | X | X | X |
搜集汇总
数据集介绍

构建方式
在宝可梦角色数据集构建领域,CyberHarem/yamato_pokemon 数据集聚焦于角色“大和”(yamato),通过自动化爬取系统从 Danbooru、Pixiv、Zerochan 等多个知名图像平台采集原始图像,共计收录 58 张图片及其对应标签。该爬取系统由 DeepGHS 团队研发,确保了数据来源的多样性与广度。为提升数据质量,数据集对核心标签如长直发、胸部、金发、耳环、紫瞳、巨乳及双马尾进行了精简处理。此外,数据集提供了多种预处理版本,包括原始元数据包、短边限制为 800 像素及 1200 像素的版本,以及经过三阶段裁剪且面积不低于 480×480 像素的增强版本,以满足不同训练需求。
特点
该数据集的核心特色在于其精细化的标签体系与多版本结构。标签经过人工筛选与剪枝,保留了描述角色外貌的关键属性,便于下游模型精准学习角色特征。数据集不仅包含原始图像及元数据,还提供了短边归一化至 800 或 1200 像素的标准化版本,以及通过三阶段裁剪策略生成的高质量子图版本,后者将单张图像扩展至多个局部区域,有效增加了数据多样性。值得注意的是,数据集中还附带了基于标签聚类的结果,揭示了如“裸体”、“性内容”等隐含主题,为敏感内容过滤或特定风格训练提供了参考。整体而言,该数据集虽规模较小,但结构严谨,适配文本到图像生成任务。
使用方法
使用该数据集时,用户可通过 Hugging Face Hub 直接下载各版本压缩包。对于希望保留完整元数据的研究者,推荐采用 waifuc 库加载原始数据集:首先使用 huggingface_hub 下载 dataset-raw.zip 文件,解压至本地目录后,通过 waifuc 的 LocalSource 接口即可迭代访问每张图像及其文件名与标签列表,方便进行自定义预处理或训练。对于需要直接用于模型训练的场景,可选择短边限制为 800 或 1200 像素的 IMG+TXT 格式包,其中图像与标签文件一一对应,无需额外解析。此外,三阶段裁剪版本适合需要局部细节增强的任务,用户可根据计算资源与精度要求灵活选用。
背景与挑战
背景概述
在文本到图像生成领域,高质量、细粒度的角色数据集对于训练能够精确捕捉特定角色特征的生成模型至关重要。CyberHarem/yamato_pokemon 数据集由 DeepGHS 团队于近期构建,聚焦于宝可梦系列中的角色“大和”。该数据集包含 58 张精心筛选的图像及其对应标签,核心特征如长发、胸部、金发、耳环、紫眼、巨乳与双马尾被重点标注。其研究核心在于为动漫风格的角色生成任务提供规范化数据基础,通过自动爬取系统从 Danbooru、Pixiv 等多源站点收集图像,并利用 Waifuc 框架进行标准化处理。该数据集对推动二次元角色定制化生成、风格迁移及可控图像合成等方向具有重要参考价值,尤其为小样本角色建模提供了可复用的数据范例。
当前挑战
该数据集所面临的挑战多维且复杂。在领域问题层面,首要挑战是解决动漫角色生成中细粒度特征保持与多样性之间的平衡,例如在仅有 58 个样本的情况下,如何避免模型过拟合于特定姿势或场景,同时确保核心属性(如发型、装饰)的稳定输出。其次,构建过程中遭遇了多源数据整合的困难:跨站点的图像分辨率、构图风格及标签体系差异显著,需通过三阶段裁剪(stage3-p480)与边缘对齐算法统一格式,但部分图像仍存在背景干扰或标签噪声。此外,数据集中包含成人向内容(如裸露标签),这要求在合规框架下进行数据筛选与伦理标注,增加了预处理流程的复杂性。最终,小样本规模与标签稀疏性(核心标签仅 7 个)进一步限制了模型对角色完整外观的泛化能力,需依赖迁移学习或数据增强策略弥补。
常用场景
经典使用场景
该数据集聚焦于宝可梦系列中角色'大和'的视觉表征,收录了58幅经过精细标注的图像。其经典使用场景在于为文本到图像生成模型提供高质量的训练样本,尤其适用于动漫风格的角色定制化生成。研究者可借助该数据集,结合标签系统(如长发、紫瞳、双马尾等核心特征),训练模型精准捕捉角色外观的细节与风格一致性,从而在可控生成任务中实现从文本描述到特定动漫角色图像的稳定映射。
解决学术问题
在学术研究中,该数据集有效缓解了动漫角色生成领域数据稀缺与标注不规范的困境。它解决了多标签分类与细粒度视觉特征对齐的难题,为探索角色身份保持、属性解耦以及风格迁移等方向提供了基准。其意义在于推动生成模型从泛化能力向个性化与精细控制的演进,助力揭示视觉语义与文本描述之间的深层关联,为动漫内容生成的理论研究注入实践数据支撑。
衍生相关工作
围绕该数据集,衍生出了一系列经典工作。例如,基于标签聚类分析的方法被用于挖掘角色在不同情境下的着装与姿态模式,进而提出多阶段裁剪策略以优化图像质量。此外,结合Waifuc框架的数据加载与预处理流程,催生了面向动漫图像的自动化数据管道研究,推动了从原始爬取到模型训练的全链路标准化。这些工作共同构建了从数据采集、处理到生成评估的完整技术生态。
以上内容由遇见数据集搜集并总结生成













