deepghs/character_similarity

这是一个用于训练模型以判断两张动漫图像（仅包含一个人物）是否描绘了同一个角色的数据集。数据集包含多个版本，每个版本有不同的字符数量和图像数量，且来源和特点各异。例如，v0版本从zerochan.net爬取，包含Arknights、Fate/Grand Order、Genshin Impact、Girls Frontline和Azur Lane等游戏的图像，以及超过1500个其他游戏或动漫角色的图像。v0_tiny和v0_xtiny是v0的简化版本，分别随机选择了1/4的动漫角色和1/4的图像，以及仅保留了100个角色。v1版本与v0类似，但包含更丰富的角色和更多样化的图像。v1_pruned是从v1中删除了单色和非单人图片，以及角色占整个视觉区域少于40%的图片。v2版本则仅包含所有角色的面部图像，图像尺寸大于v1和v0版本，但可能包含多级嵌套的图像路径。

This is a dataset designed for training models to determine whether two anime images (each containing exactly one single character) depict the same character. The dataset comprises multiple versions, each with distinct counts of characters and images, as well as unique sources and characteristics. For example, the v0 version was crawled from zerochan.net, containing images from games such as Arknights, Fate/Grand Order, Genshin Impact, Girls' Frontline, and Azur Lane, as well as images of over 1,500 other game or anime characters. The v0_tiny and v0_xtiny are simplified subsets of v0: v0_tiny randomly selects 1/4 of the anime characters and 1/4 of their associated images, while v0_xtiny retains only 100 distinct characters. The v1 version is analogous to v0 but includes a larger number of characters and more diverse images. The v1_pruned variant is curated from v1 by removing monochromatic images, non-single-character images, and images where the character occupies less than 40% of the total visual area. The v2 version only contains facial images of all characters, with higher image resolutions than v1 and v0, though it may include multi-level nested image paths.

原始信息汇总

数据集概述

数据集名称

• character_similarity

数据集用途

• 用于训练模型以判断两张包含单个人的动漫图片是否描绘同一角色。

数据集版本及详细信息

版本 v0

• 文件名: images_v0.tar.xz
• 角色数量: 2059
• 图片数量: 162116
• 来源: 从 zerochan.net 爬取，包含 Arknights, Fate/Grand Order, Genshin Impact, Girls Frontline, Azur Lane 等游戏或动漫角色，以及其他超过1500个角色的小预览缩略图。

版本 v0_tiny

• 文件名: images_tiny_v0.tar.xz
• 角色数量: 514
• 图片数量: 10036
• 描述: 从 v0 数据集中随机选取了1/4的角色和每个角色的1/4图片，推荐用于模型训练和验证。

版本 v0_xtiny

• 文件名: images_xtiny_v0.tar.xz
• 角色数量: 100
• 图片数量: 1814
• 描述: v0_xtiny 是 v0_tiny 的进一步简化版本，仅保留100个角色，适合用于模型验证和实验，不推荐用于正式训练。

版本 v1

• 文件名: images_v1.tar.xz
• 角色数量: 4001
• 图片数量: 292800
• 描述: 类似于 v0，但包含更丰富的角色选择和更多样化的同一角色图片，每个角色包含不少于3张且不超过200张图片。

版本 v1_pruned

• 文件名: images_pruned_v1.tar.xz
• 角色数量: 3982
• 图片数量: 241483
• 描述: 从 v1 数据集中修剪而来，删除了黑白和非单人图片，以及角色占比小于40%的图片。

版本 v2

• 文件名: images_v2.tar.gz
• 角色数量: 37886
• 图片数量: 836217
• 描述: 从 zerochan.net 爬取，仅包含角色面部，图片尺寸大于 v1 和 v0 数据集。请注意，v2 数据集可能包含多级嵌套的图片路径，如 a/b/c/xx.jpg 和 a/b/yy.jpg。在这种情况下，xx.jpg 和 yy.jpg 不应被视为同一角色。只有当两个角色位于完全相同的文件路径时，才被视为同一角色。

数据集属性

• 许可证: MIT
• 任务类别: zero-shot-classification
• 标签: art
• 大小类别: 100K<n<1M

搜集汇总

数据集介绍

构建方式

该数据集专为训练模型以判断两张动漫图像（仅含单人）是否描绘同一角色而设计。其构建过程经历了多版本迭代：v0版本从zerochan.net爬取涵盖《明日方舟》《命运/冠位指定》等五款热门游戏及1500余个其他动漫角色共2059个角色的162116张缩略图；v0_tiny通过随机抽取1/4角色及每角色1/4图像简化至514角色10036张，推荐用于训练验证；v0_xtiny进一步精简至100角色1814张，仅供实验。v1版本扩展至4001角色292800张，每角色图像数介于3至200张，内容更丰富多样。v1_pruned在v1基础上剔除单色、非单人及角色占比低于40%的图像，保留3982角色241483张。v2版本则聚焦于所有角色的面部图像，爬取37886角色836217张，图像尺寸更大，但需注意其多级路径嵌套特性，仅当两张图像位于完全相同的路径时方视为同一角色。

特点

该数据集的核心特点在于其层次化构建与精细的质量控制。首先，数据来源单一且专业，全部源自zerochan.net动漫图库，确保了图像风格与主题的一致性。其次，版本设计兼顾规模与实用性：v0系列提供从大规模到极小规模的渐进式选择，便于不同资源条件下的研究；v1系列通过数量限制（3-200张）平衡了角色覆盖度与数据均衡性；v1_pruned的严格过滤（剔除单色、非单人及小占比图像）显著提升了正例对的纯净度。v2版本则开创性地引入路径级角色标注，通过文件目录结构隐式定义角色身份，避免了人工标注的主观误差，同时其面部聚焦特性为细粒度特征学习提供了优质基础。此外，数据集涵盖数万角色、近百万图像，规模宏大，且全部采用MIT开源协议，便于学术与商业应用。

使用方法

该数据集主要用于动漫角色相似性判断的零样本分类任务。使用时，用户可根据需求选择合适的版本：对于常规训练与验证，推荐使用v0_tiny或v1_pruned，前者轻量快速，后者质量更高；对于大规模特征学习，v2版本因其海量面部图像与路径级标注而最为适宜；v0_xtiny仅适用于快速原型验证。数据以压缩包形式提供，需解压后按目录结构组织图像。在模型训练中，可构建正负样本对：正样本为同一目录下的图像对（v2）或同一角色的不同图像（v0/v1），负样本为不同目录或不同角色的图像。特别地，v2版本需严格遵循路径相等原则，避免将嵌套子目录的误判为同一角色。建议配合图像预处理（如统一尺寸、归一化）及对比学习框架（如Siamese网络）使用，以最大化数据效用。

背景与挑战

背景概述

在动漫图像处理与计算机视觉领域，角色识别与匹配是一项极具挑战性的任务，尤其当图像风格多样、背景复杂且角色呈现姿态各异时。为应对这一难题，deepghs/character_similarity数据集应运而生，由研究团队于近期构建并发布。该数据集专注于训练模型判断两幅仅包含单人的动漫图像是否描绘同一角色，核心研究问题在于跨越图像差异性实现精准的角色同一性判定。数据集历经多个版本迭代，从v0的2059个角色、16万余张缩略图，扩展到v2的37886个角色、超83万张面部图像，数据规模与多样性显著提升。其影响力体现在为动漫角色匹配、图像检索及零样本分类等任务提供了标准化训练基准，推动了相关领域的技术进步。

当前挑战

该数据集所解决的领域挑战在于动漫角色识别中因画风、光照、视角变化及遮挡导致的特征混淆，传统图像分类方法难以直接迁移至高度风格化的动漫图像。构建过程中，团队面临多重困难：首先，从Zerochan.net爬取海量图像时需确保版权合规与数据质量，v1版本中每个角色图像数量限制在3至200张以平衡类别分布；其次，v1_pruned版本需剔除黑白图像、非单人照及角色占比低于40%的样本，手动筛选成本高昂；最后，v2版本中嵌套路径结构（如a/b/c/xx.jpg）要求模型理解路径层级与角色身份的逻辑关系，避免误判，这增加了数据清洗与标注的复杂性。

常用场景

经典使用场景

在动漫图像分析领域，角色身份识别是一项基础而富有挑战性的任务。该数据集专为判断两张动漫图像是否描绘同一角色而设计，涵盖了来自零度动漫网的海量高质量图像，包括《明日方舟》、《命运/冠位指定》、《原神》等热门作品中的数千个角色。经典使用场景在于训练零样本分类模型，使模型能够在未见过的角色图像上准确判断身份一致性，从而推动动漫图像理解与跨作品角色匹配技术的发展。

解决学术问题

该数据集有效解决了动漫角色识别中缺乏大规模、多来源标注数据的学术困境。传统方法往往依赖手工特征或小规模数据集，难以泛化到复杂多变的动漫风格。通过提供包含数万角色、数十万图像的多版本资源，它支持了细粒度视觉相似性学习、跨域角色匹配以及零样本分类等前沿问题的研究，显著提升了模型在真实动漫场景下的鲁棒性与泛化能力。

衍生相关工作

基于该数据集，研究者已衍生出多项经典工作。例如，利用其多版本特性，学者们开发了面向动漫角色的对比学习框架，大幅提升了特征表示的判别力；同时，它也被用于评估和微调大规模视觉语言模型在动漫领域的零样本能力。此外，该数据集的修剪版本（如v1_pruned）催生了针对遮挡、非单人图像等复杂场景的鲁棒性研究，推动了动漫图像理解领域的持续演进。