遇见数据集

CyberHarem/hapu_pokemon

收藏
Hugging Face2024-01-16 更新2024-03-04 收录
官方服务:

资源简介:

这是hapu(宝可梦)的数据集,包含85张图片及其标签。该角色的核心标签包括`long_hair, black_hair, twintails, dark-skinned_female, thick_eyebrows, dark_skin, purple_eyes, bright_pupils, eyelashes, white_pupils, purple_headwear`,这些标签在数据集中被修剪。图片从多个网站(如danbooru、pixiv、zerochan等)爬取,爬取系统由DeepGHS团队提供。

本数据集为宝可梦系列角色哈普乌(Hapu)的专属数据集,共收录85张图像及其配套标注标签。该角色的核心标注标签包括:长发(long_hair)、黑发(black_hair)、双马尾(twintails)、深色皮肤女性(dark-skinned_female)、浓眉(thick_eyebrows)、深色皮肤(dark_skin)、紫色眼眸(purple_eyes)、明亮瞳孔(bright_pupils)、睫毛(eyelashes)、白色瞳孔(white_pupils)及紫色头饰(purple_headwear),上述标签均已在本数据集中完成标准化修剪处理。本数据集的图像均从danbooru、pixiv、zerochan等图像平台爬取所得,爬取系统由DeepGHS团队开发提供。

提供机构:
CyberHarem
原始信息汇总

数据集概述

数据集基本信息

  • 名称: Dataset of hapu (Pokémon)
  • 许可证: MIT
  • 任务类别: text-to-image
  • 标签: art, not-for-all-audiences
  • 数据量: n<1K

数据集内容

  • 图像数量: 85张
  • 核心标签: long_hair, black_hair, twintails, dark-skinned_female, thick_eyebrows, dark_skin, purple_eyes, bright_pupils, eyelashes, white_pupils, purple_headwear

数据集包列表

名称 图像数量 大小 类型 描述
raw 85 68.05 MiB Waifuc-Raw 原始数据,包含元信息(最小边对齐到1400像素,如果更大)。
800 85 41.61 MiB IMG+TXT 短边不超过800像素的数据集。
stage3-p480-800 161 78.35 MiB IMG+TXT 3阶段裁剪数据集,区域不小于480x480像素。
1200 85 60.70 MiB IMG+TXT 短边不超过1200像素的数据集。
stage3-p480-1200 161 109.14 MiB IMG+TXT 3阶段裁剪数据集,区域不小于480x480像素。

数据集加载

  • 加载工具: waifuc

  • 示例代码: python import os import zipfile from huggingface_hub import hf_hub_download from waifuc.source import LocalSource

    zip_file = hf_hub_download( repo_id=CyberHarem/hapu_pokemon, repo_type=dataset, filename=dataset-raw.zip, )

    dataset_dir = dataset_dir os.makedirs(dataset_dir, exist_ok=True) with zipfile.ZipFile(zip_file, r) as zf: zf.extractall(dataset_dir)

    source = LocalSource(dataset_dir) for item in source: print(item.image, item.meta[filename], item.meta[tags])

标签聚类结果

原始文本版本

# 样本数量 Img-1 Img-2 Img-3 Img-4 Img-5 标签
0 8 1girl, bonnet, closed_mouth, jumpsuit, black_footwear, boots, grey_eyes, looking_at_viewer, solo, full_body, smile, belt, grey_gloves, pouch, puffy_short_sleeves, standing, blush

表格版本

# 样本数量 Img-1 Img-2 Img-3 Img-4 Img-5 1girl bonnet closed_mouth jumpsuit black_footwear boots grey_eyes looking_at_viewer solo full_body smile belt grey_gloves pouch puffy_short_sleeves standing blush
0 8 X X X X X X X X X X X X X X X X X
搜集汇总
数据集介绍
CyberHarem/hapu_pokemon 数据集图片
构建方式
在宝可梦角色数据集构建领域,CyberHarem/hapu_pokemon 数据集专注于收录宝可梦角色哈普(hapu)的视觉素材。该数据集通过自动化爬取系统从 Danbooru、Pixiv、Zerochan 等多个图像平台采集原始图像,共包含 85 张图片及其对应的标签信息。系统由 DeepGHS 团队开发,支持对图像进行元数据标注。数据集提供了多种预处理版本,包括原始 raw 格式、短边不超过 800 或 1200 像素的缩放版本,以及经过三阶段裁剪、面积不小于 480×480 像素的增强版本,以满足不同训练需求。
特点
该数据集的核心特色在于其精细的标签体系与多版本结构。每个图像均附有丰富的角色特征标签,如长黑发、双马尾、深色皮肤、紫色眼睛等,这些标签经过修剪以突出角色独特性。数据集不仅提供原始图像,还包含 IMG+TXT 格式的标准化版本,便于直接用于文本到图像模型训练。此外,数据集提供了基于标签聚类的分组结果,将相似装扮的图像归为一类,有助于挖掘角色不同风格与服饰组合,为模型学习提供结构化参考。
使用方法
使用该数据集时,用户可通过 Hugging Face Hub 下载不同版本的压缩包。对于原始 raw 版本,推荐结合 waifuc 库进行加载:首先使用 huggingface_hub 下载 dataset-raw.zip 文件,解压至本地目录后,利用 LocalSource 接口逐项读取图像及其元数据(包括文件名和标签)。缩放版和裁剪版则可直接解压后用于训练流程。用户可根据任务需求选择合适的数据规模与分辨率,例如训练轻量模型可选用 800 像素版本,而追求细节则选用 1200 像素或裁剪版。
背景与挑战
背景概述
在生成式人工智能与动漫文化深度融合的浪潮中,针对特定虚拟角色的精细化图像生成任务逐渐成为研究热点。由DeepGHS团队于近期创建的CyberHarem/hapu_pokemon数据集,聚焦于《宝可梦》系列中的角色“哈普”,旨在为文本到图像(text-to-image)模型提供高质量的微调素材。该数据集包含85张经过人工标注的图像,核心标签如“长黑发、双马尾、深色皮肤”等被精心筛选,以精准刻画角色特征。其影响力体现在两方面:一是为动漫角色定制化生成提供了标准化数据基准,二是推动了多源数据自动爬取与清洗技术的发展。该数据集的出现,填补了小众角色高质量训练数据的空白,为相关领域的研究者提供了宝贵的资源。
当前挑战
该数据集面临的核心挑战首先在于领域问题的复杂性:动漫角色图像生成需同时满足视觉一致性(如肤色、发型)与风格多样性(跨画师、跨场景),而85张的样本量对模型泛化能力构成严峻考验,易导致过拟合或细节丢失。其次,构建过程中的挑战尤为突出:数据爬取自Danbooru、Pixiv等异构平台,面临版权合规、图像质量参差(如分辨率、水印)及标签噪声(如缺失或冗余标签)等问题。此外,多阶段裁剪策略(如480x480区域限定)虽优化了训练效率,却可能破坏角色构图的完整性。如何在小样本条件下平衡数据增强与原始特征保留,仍是亟待突破的瓶颈。
常用场景
经典使用场景
在文本到图像生成模型的微调与个性化定制研究中,CyberHarem/hapu_pokemon 数据集常被用作特定角色(宝可梦角色哈普)的视觉概念学习资源。该数据集包含 85 张高质量图像及其对应的标签信息,研究人员可基于这些标签进行条件生成训练,使模型精准捕捉角色的外观特征,如发型、肤色、瞳色及服饰风格。其经典应用场景包括基于扩散模型的角色定制化生成,以及利用标签引导的图像合成实验,从而验证模型对细粒度视觉属性的理解与复现能力。
实际应用
在实际应用中,该数据集为二次元内容创作与游戏角色设计提供了高效的素材生成工具。创作者可利用微调后的生成模型快速产出符合哈普角色设定的概念图、插画或表情包,显著降低手绘成本。此外,数据集的多分辨率版本(如 800px 和 1200px)适配了不同平台的部署需求,使模型能够灵活应用于移动端壁纸生成、虚拟主播形象定制以及电商虚拟试穿等场景,加速了动漫 IP 的数字化衍生与商业变现流程。
衍生相关工作
基于此数据集,衍生出多项经典研究工作,例如 waifuc 框架的自动化数据流水线优化,以及 DeepGHS 团队在图像爬取与标签清洗方面的技术突破。此外,该数据集被用于验证多阶段裁剪策略(如 stage3-p480-800)对生成质量的影响,并催生了针对动漫角色标签聚类(如服饰与姿态分组)的探索性分析。这些工作不仅丰富了少样本生成的理论体系,还为后续构建更大规模的动漫角色数据集提供了方法论参考,例如通过标签解耦实现跨角色风格迁移的尝试。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务