five

CyberHarem/yamashiro_takane_touhou

收藏
Hugging Face2024-01-15 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/CyberHarem/yamashiro_takane_touhou
下载链接
链接失效反馈
官方服务:
资源简介:
--- license: mit task_categories: - text-to-image tags: - art - not-for-all-audiences size_categories: - n<1K --- # Dataset of yamashiro_takane (Touhou) This is the dataset of yamashiro_takane (Touhou), containing 254 images and their tags. The core tags of this character are `green_hair, hat, green_eyes, flat_cap, medium_hair, bangs, green_headwear, camouflage_headwear`, which are pruned in this dataset. Images are crawled from many sites (e.g. danbooru, pixiv, zerochan ...), the auto-crawling system is powered by [DeepGHS Team](https://github.com/deepghs)([huggingface organization](https://huggingface.co/deepghs)). ## List of Packages | Name | Images | Size | Download | Type | Description | |:-----------------|---------:|:-----------|:-------------------------------------------------------------------------------------------------------------------------|:-----------|:---------------------------------------------------------------------| | raw | 254 | 299.24 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamashiro_takane_touhou/resolve/main/dataset-raw.zip) | Waifuc-Raw | Raw data with meta information (min edge aligned to 1400 if larger). | | 800 | 254 | 186.36 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamashiro_takane_touhou/resolve/main/dataset-800.zip) | IMG+TXT | dataset with the shorter side not exceeding 800 pixels. | | stage3-p480-800 | 578 | 381.84 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamashiro_takane_touhou/resolve/main/dataset-stage3-p480-800.zip) | IMG+TXT | 3-stage cropped dataset with the area not less than 480x480 pixels. | | 1200 | 254 | 273.14 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamashiro_takane_touhou/resolve/main/dataset-1200.zip) | IMG+TXT | dataset with the shorter side not exceeding 1200 pixels. | | stage3-p480-1200 | 578 | 514.13 MiB | [Download](https://huggingface.co/datasets/CyberHarem/yamashiro_takane_touhou/resolve/main/dataset-stage3-p480-1200.zip) | IMG+TXT | 3-stage cropped dataset with the area not less than 480x480 pixels. | ### Load Raw Dataset with Waifuc We provide raw dataset (including tagged images) for [waifuc](https://deepghs.github.io/waifuc/main/tutorials/installation/index.html) loading. If you need this, just run the following code ```python import os import zipfile from huggingface_hub import hf_hub_download from waifuc.source import LocalSource # download raw archive file zip_file = hf_hub_download( repo_id='CyberHarem/yamashiro_takane_touhou', repo_type='dataset', filename='dataset-raw.zip', ) # extract files to your directory dataset_dir = 'dataset_dir' os.makedirs(dataset_dir, exist_ok=True) with zipfile.ZipFile(zip_file, 'r') as zf: zf.extractall(dataset_dir) # load the dataset with waifuc source = LocalSource(dataset_dir) for item in source: print(item.image, item.meta['filename'], item.meta['tags']) ``` ## List of Clusters List of tag clustering result, maybe some outfits can be mined here. ### Raw Text Version | # | Samples | Img-1 | Img-2 | Img-3 | Img-4 | Img-5 | Tags | |----:|----------:|:--------------------------------|:--------------------------------|:--------------------------------|:--------------------------------|:--------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | 0 | 21 | ![](samples/0/clu0-sample0.png) | ![](samples/0/clu0-sample1.png) | ![](samples/0/clu0-sample2.png) | ![](samples/0/clu0-sample3.png) | ![](samples/0/clu0-sample4.png) | 1girl, solo, boots, green_shirt, key, simple_background, white_background, brown_footwear, frills, full_body, green_skirt, camouflage_jacket, long_sleeves, smile, holding_card, pocket, standing, looking_at_viewer, open_mouth, backpack, blue_headwear, box | ### Table Version | # | Samples | Img-1 | Img-2 | Img-3 | Img-4 | Img-5 | 1girl | solo | boots | green_shirt | key | simple_background | white_background | brown_footwear | frills | full_body | green_skirt | camouflage_jacket | long_sleeves | smile | holding_card | pocket | standing | looking_at_viewer | open_mouth | backpack | blue_headwear | box | |----:|----------:|:--------------------------------|:--------------------------------|:--------------------------------|:--------------------------------|:--------------------------------|:--------|:-------|:--------|:--------------|:------|:--------------------|:-------------------|:-----------------|:---------|:------------|:--------------|:--------------------|:---------------|:--------|:---------------|:---------|:-----------|:--------------------|:-------------|:-----------|:----------------|:------| | 0 | 21 | ![](samples/0/clu0-sample0.png) | ![](samples/0/clu0-sample1.png) | ![](samples/0/clu0-sample2.png) | ![](samples/0/clu0-sample3.png) | ![](samples/0/clu0-sample4.png) | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X |
提供机构:
CyberHarem
原始信息汇总

数据集概述

基本信息

  • 数据集名称: yamashiro_takane (Touhou)
  • 许可证: MIT
  • 任务类别: text-to-image
  • 标签: art, not-for-all-audiences
  • 数据量: n<1K

数据集描述

  • 内容: 包含254张图片及其标签。
  • 核心标签: green_hair, hat, green_eyes, flat_cap, medium_hair, bangs, green_headwear, camouflage_headwear

数据包列表

名称 图片数量 大小 类型 描述
raw 254 299.24 MiB Waifuc-Raw 原始数据,包含元信息(最小边对齐到1400像素,如果更大)。
800 254 186.36 MiB IMG+TXT 短边不超过800像素的数据集。
stage3-p480-800 578 381.84 MiB IMG+TXT 3阶段裁剪数据集,区域不小于480x480像素。
1200 254 273.14 MiB IMG+TXT 短边不超过1200像素的数据集。
stage3-p480-1200 578 514.13 MiB IMG+TXT 3阶段裁剪数据集,区域不小于480x480像素。

集群列表

# 样本数量 图片1 图片2 图片3 图片4 图片5 标签
0 21 1girl, solo, boots, green_shirt, key, simple_background, white_background, brown_footwear, frills, full_body, green_skirt, camouflage_jacket, long_sleeves, smile, holding_card, pocket, standing, looking_at_viewer, open_mouth, backpack, blue_headwear, box
搜集汇总
数据集介绍
main_image_url
构建方式
在二次元图像生成领域,高质量、标注精细的角色数据集是驱动模型精准刻画特定人物的基石。本数据集聚焦于东方Project中的角色山城高岭(yamashiro_takane),通过自动化爬取系统从Danbooru、Pixiv、Zerochan等多个知名图站采集原始图像,最终构建了包含254张图片及其对应标签的精选集合。数据集构建过程中,首先对原始图像进行元信息保留,并依据最短边对齐至1400像素进行预处理;进而提供多种分辨率版本,包括短边不超过800像素与1200像素的常规缩放版,以及采用三阶段裁剪策略、确保有效区域不低于480×480像素的增强版,以满足不同训练场景的需求。
特点
该数据集的核心特色在于其精细的标签体系与多版本结构。所有图像均附带丰富的描述性标签,其中角色核心特征如绿发、帽子、绿眼、平顶帽、中长发、刘海、绿色头饰及迷彩头饰已被系统剪枝,以突出角色独特性。数据集提供了原始版(含元信息)与多种处理版(图像+文本对),后者可直接用于模型训练。此外,数据集还包含了基于标签聚类的分组结果,揭示了不同服饰搭配与场景组合,为风格迁移或特定装扮生成提供了潜在的研究线索。整体而言,该数据集兼具规模精简与内容深度的特点。
使用方法
使用者可根据需求选择不同版本的数据包。对于需要保留原始元信息与灵活处理能力的场景,推荐使用'raw'版,并可结合waifuc库通过Python代码便捷加载。具体而言,从HuggingFace Hub下载压缩包后解压至本地目录,利用LocalSource即可迭代访问每张图像及其文件名与标签列表。对于直接用于文本到图像模型微调的任务,'800'、'1200'等缩放版或'stage3-p480-800'等裁剪版更为适用,它们以标准图像-文本对格式提供,可直接接入常见训练管线。所有数据包均通过HuggingFace数据集页面提供下载链接,便于快速获取与集成。
背景与挑战
背景概述
在文本到图像生成领域,高质量、细粒度的角色数据集对于训练能够精确复现特定动漫角色的生成模型至关重要。CyberHarem/yamashiro_takane_touhou数据集由DeepGHS团队于近年创建,聚焦于《东方Project》中的角色山城高岭(Yamashiro Takane),包含254张经过标注的图像。该数据集的核心研究问题在于如何通过自动化爬取与多源整合(如Danbooru、Pixiv、Zerochan等平台),构建一个标签丰富且结构化的角色图像库,以支持角色一致性生成、风格迁移及少样本学习等下游任务。其影响力体现在为动漫角色生成领域提供了标准化的数据基准,尤其推动了基于Waifuc框架的数据加载与预处理流程的普及。
当前挑战
该数据集所面临的挑战首先体现在领域问题层面:动漫角色生成任务中,模型需从有限样本中学习到角色核心特征(如绿色头发、帽子、绿色眼睛等),但254张图像的数量限制了模型对姿态、场景及光照变化的泛化能力,易导致过拟合或特征混淆。其次,构建过程中遭遇多重技术难点,包括跨平台爬取时需应对不同网站的版权限制与反爬机制,标签一致性维护因来源标签体系差异(如Danbooru的标签层次与Pixiv的标签风格不同)而变得复杂,以及图像裁剪与分辨率对齐(如三阶段裁剪策略中保持区域面积不小于480×480像素)在保证内容完整性同时需避免关键特征丢失。此外,核心标签的剪枝操作虽精简了数据,但也可能剔除部分上下文信息,影响模型对角色多样性的理解。
常用场景
经典使用场景
在二次元角色生成与个性化图像合成领域,CyberHarem/yamashiro_takane_touhou 数据集为文本到图像(text-to-image)任务提供了高质量、标注精细的素材。该数据集包含254张东方Project角色山城高岭的图片及其标签,典型应用场景包括基于扩散模型的角色定制化生成。研究者可利用其多分辨率版本(如800px、1200px)和三级裁剪版(stage3-p480-800)进行模型微调,实现从文本描述到特定角色形象的高 fidelity 映射,尤其适用于少样本学习场景下的角色一致性保持。
衍生相关工作
该数据集衍生了一系列经典工作,包括基于Waifuc框架的图像采集与预处理流水线(如自动爬取、边缘对齐、三级裁剪),以及标签聚类方法用于挖掘角色潜在服饰风格。后续研究进一步拓展了其在少样本个性化生成(如DreamBooth、LoRA微调)中的基线应用,并催生了针对二次元角色的属性解耦模型(如基于CLIP的标签-图像对齐优化)。此外,聚类结果中的“迷彩夹克+绿色衬衫”等组合已被用于评估生成模型的细粒度控制能力。
数据集最近研究
最新研究方向
在二次元角色图像生成领域,基于东方Project角色“山城高岭”构建的高质量数据集正成为文本到图像模型微调的重要资源。该数据集包含254张精心筛选的图像及其标签,覆盖多种来源,并提供了多尺度版本以适应不同训练需求。当前前沿研究方向聚焦于利用此类精细化角色数据集进行可控生成与风格迁移,特别是结合标签聚类分析挖掘角色特征关联,以提升生成图像的角色一致性与细节丰富度。随着二次元文化在AI艺术创作中的持续升温,此类数据集为少样本学习、个性化生成以及跨模态对齐提供了关键支撑,推动了从通用生成到领域专精模型的演进,具有重要的应用价值与学术意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务