marmal88/skin_cancer

--- dataset_info: features: - name: image dtype: image - name: image_id dtype: string - name: lesion_id dtype: string - name: dx dtype: string - name: dx_type dtype: string - name: age dtype: float64 - name: sex dtype: string - name: localization dtype: string splits: - name: train num_bytes: 2490501038.358 num_examples: 9577 - name: test num_bytes: 351507473.24 num_examples: 1285 - name: validation num_bytes: 681758880.144 num_examples: 2492 download_size: 3693626934 dataset_size: 3523767391.7419996 task_categories: - image-classification - image-segmentation language: - en tags: - skin_cancer - HAM10000 pretty_name: HAM10000 size_categories: - 1K<n<10K --- # The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions - Original Paper and Dataset [here](https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/DBW86T) - Kaggle dataset [here](https://www.kaggle.com/datasets/kmader/skin-cancer-mnist-ham10000?resource=download) # Introduction to datasets Training of neural networks for automated diagnosis of pigmented skin lesions is hampered by the small size and lack of diversity of available dataset of dermatoscopic images. We tackle this problem by releasing the HAM10000 ("Human Against Machine with 10000 training images") dataset. We collected dermatoscopic images from different populations, acquired and stored by different modalities. The final dataset consists of 10015 dermatoscopic images which can serve as a training set for academic machine learning purposes. Cases include a representative collection of all important diagnostic categories in the realm of pigmented lesions: Actinic keratoses and intraepithelial carcinoma / Bowen's disease (akiec), basal cell carcinoma (bcc), benign keratosis-like lesions (solar lentigines / seborrheic keratoses and lichen-planus like keratoses, bkl), dermatofibroma (df), melanoma (mel), melanocytic nevi (nv) and vascular lesions (angiomas, angiokeratomas, pyogenic granulomas and hemorrhage, vasc). More than 50% of lesions are confirmed through histopathology (histo), the ground truth for the rest of the cases is either follow-up examination (follow_up), expert consensus (consensus), or confirmation by in-vivo confocal microscopy (confocal). The test set is not public, but the evaluation server remains running (see the challenge website). Any publications written using the HAM10000 data should be evaluated on the official test set hosted there, so that methods can be fairly compared. - Test site can be accessed [here](https://challenge.isic-archive.com/landing/2018/) # Disclaimer and additional information This is a contribution to open sourced data in hugging face for image data. Images can be obtained from above links. Train test split was done using a stratified splitting by cancer/diagnosis type. The code to stratify the dataset can be obtained on my github [here](https://github.com/marmal88/skin_cancer). I do not own any rights to above images. [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 特征： - 名称：image（图像），数据类型：图像 - 名称：image_id（图像ID），数据类型：字符串 - 名称：lesion_id（皮损ID），数据类型：字符串 - 名称：dx（诊断结果），数据类型：字符串 - 名称：dx_type（诊断类型），数据类型：字符串 - 名称：age（年龄），数据类型：64位浮点型 - 名称：sex（性别），数据类型：字符串 - 名称：localization（皮损部位），数据类型：字符串 数据集划分： - 名称：训练集（train），字节数：2490501038.358，样本数：9577 - 名称：测试集（test），字节数：351507473.24，样本数：1285 - 名称：验证集（validation），字节数：681758880.144，样本数：2492 下载大小：3693626934 字节 数据集总大小：3523767391.7419996 字节 任务类别： - 图像分类 - 图像分割 语言：英语 标签： - 皮肤癌 - HAM10000 友好名称：HAM10000 样本规模类别：1K < n < 10K # HAM10000数据集：常见色素性皮损多来源皮肤镜图像大型集合 - 原始论文与数据集：[此处](https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/DBW86T) - Kaggle数据集：[此处](https://www.kaggle.com/datasets/kmader/skin-cancer-mnist-ham10000?resource=download) ## 数据集简介 用于色素性皮损自动诊断的神经网络训练，常受制于现有皮肤镜图像数据集规模偏小且多样性不足的问题。为此我们发布HAM10000（Human Against Machine with 10000 training images，即“对抗机器的人类：10000张训练图像”）数据集。我们从不同人群中采集皮肤镜图像，并通过不同模态完成图像的获取与存储。最终数据集包含10015张皮肤镜图像，可用于学术场景下的机器学习训练。 该数据集涵盖色素性皮损领域全部重要诊断类别的代表性样本：光化性角化病与上皮内癌/鲍恩病（akiec）、基底细胞癌（bcc）、良性角化样皮损（日光性雀斑/脂溢性角化病及苔藓样角化病，bkl）、皮肤纤维瘤（df）、黑色素瘤（mel）、黑素细胞痣（nv）以及血管性皮损（血管瘤、角化性血管瘤、化脓性肉芽肿及出血，vasc）。 超过50%的皮损经组织病理学（histo）确认，其余病例的真实标签分别为随访检查结果（follow_up）、专家共识（consensus）或活体共聚焦显微镜检查确认（confocal）。 测试集未对外开放，但评估服务器仍在运行（详见挑战赛官网）。任何使用HAM10000数据集撰写的学术成果，均需在该平台提供的官方测试集上开展评估，以确保不同方法间的公平比较。 - 测试站点可通过[此处](https://challenge.isic-archive.com/landing/2018/)访问 ## 免责声明与补充信息 本数据集是针对Hugging Face开源图像数据的贡献。图像可通过上述链接获取。 训练集与测试集的划分采用按癌症/诊断类型分层的策略。用于实现分层划分的代码可在我的GitHub仓库[此处](https://github.com/marmal88/skin_cancer)获取。 本人不拥有上述图像的任何版权。 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: HAM10000
• 别名: Human Against Machine with 10000 training images

数据集特征

• 图像: 类型为image
• 图像ID: 类型为string
• 病变ID: 类型为string
• 诊断: 类型为string
• 诊断类型: 类型为string
• 年龄: 类型为float64
• 性别: 类型为string
• 局部化: 类型为string

数据集分割

• 训练集: 9577个样本，占用2490501038.358字节
• 测试集: 1285个样本，占用351507473.24字节
• 验证集: 2492个样本，占用681758880.144字节

数据集大小

• 下载大小: 3693626934字节
• 数据集大小: 3523767391.7419996字节

任务类别

• 图像分类
• 图像分割

语言

• 英语

标签

• 皮肤癌
• HAM10000

美观名称

• HAM10000

大小类别

• 1K<n<10K

数据集描述

• 包含: 10015个皮肤病学图像，涵盖多种色素性皮肤病变类型
• 用途: 用于学术机器学习的训练集
• 病变类型: Actinic keratoses and intraepithelial carcinoma / Bowens disease (akiec), basal cell carcinoma (bcc), benign keratosis-like lesions (solar lentigines / seborrheic keratoses and lichen-planus like keratoses, bkl), dermatofibroma (df), melanoma (mel), melanocytic nevi (nv) and vascular lesions (angiomas, angiokeratomas, pyogenic granulomas and hemorrhage, vasc)
• 验证方式: 超过50%的病变通过组织病理学确认，其余通过随访检查、专家共识或体内共聚焦显微镜确认
• 测试集: 不公开，但评估服务器持续运行

搜集汇总

数据集介绍

构建方式

皮肤癌数据集marmal88/skin_cancer，即HAM10000，旨在解决色素性皮肤病变自动诊断中训练数据规模小、多样性不足的困境。该数据集汇集了来自不同人群、经由多种成像模态采集与存储的皮肤镜图像，最终囊括10015例样本。其构建过程严格遵循分层抽样原则，依据癌症或诊断类型对原始图像进行划分，确保训练集、验证集与测试集中各类病变比例的均衡。超过半数的病灶通过组织病理学确认，其余病例则依赖于随访、专家共识或共聚焦显微镜验证，从而构建了一个兼具规模与诊断可靠性的基准数据集。

特点

该数据集的一大特色在于其诊断类别的全面性与代表性，涵盖了色素性病变领域所有重要的诊断类型，包括光化性角化病、基底细胞癌、良性角化病、皮肤纤维瘤、黑色素瘤、黑色素细胞痣以及血管病变等七大类。这种丰富的类别分布为训练多分类模型提供了坚实基础。此外，数据集提供了丰富的元数据，包括图像标识符、病变标识符、诊断方式、患者年龄、性别及病变部位，这些信息为开展细粒度分析、探索人口学与临床特征对诊断的影响创造了条件。

使用方法

该数据集在HuggingFace上以标准格式发布，用户可通过加载数据集库直接使用。数据划分为训练集（9577例）、验证集（2492例）和测试集（1285例），支持图像分类与图像分割两大任务。使用时应遵循官方测试集的评估规范，通过ISIC挑战赛网站提交结果以确保方法间公平比较。研究者可访问原始论文与Kaggle页面获取完整数据，并利用GitHub上提供的分层划分代码复现数据分割流程，从而便捷地开展模型训练与性能评估。

背景与挑战

背景概述

皮肤癌是全球范围内发病率最高的恶性肿瘤之一，早期诊断对于改善患者预后至关重要。基于皮肤镜图像的计算机辅助诊断系统近年来受到广泛关注，然而，缺乏大规模、多样化的标注数据集是制约该领域发展的核心瓶颈。HAM10000数据集由Tschandl等研究人员于2018年创建，旨在解决这一困境。该数据集汇集了来自不同人群、多种采集设备与存储方式的10015张皮肤镜图像，覆盖了色素性病变中所有重要的诊断类别，包括光化性角化病、基底细胞癌、良性角化病、皮肤纤维瘤、黑色素瘤、黑色素细胞痣及血管病变。超过50%的病变通过组织病理学确认，其余病例则依据随访、专家共识或共聚焦显微镜进行验证。该数据集的发布为机器学习模型的训练提供了标准化基准，显著推动了皮肤病变自动分类研究的发展，成为该领域最具影响力的公开资源之一。

当前挑战

HAM10000数据集所应对的核心挑战在于皮肤病变自动分类任务中的类别不均衡与数据来源异质性。黑色素细胞痣样本占据绝大多数，而皮肤纤维瘤等罕见病变样本极少，这导致模型在少数类上的识别性能严重下降。此外，不同采集设备、光照条件及患者肤色差异引入的域偏移，进一步增加了模型泛化的难度。在数据集构建过程中，研究者面临多重困难：首先，从多个临床中心收集匿名化图像并获取病理金标准需要复杂的伦理审批与协作机制；其次，对超过半数的非组织病理确认病例，需设计严格的随访或专家共识流程以确保标签可靠性；最后，还需解决不同来源图像在分辨率、色彩空间及元数据格式上的标准化问题。这些挑战使得HAM10000的构建成为一项耗时且技术密集的工作，但也正是这些努力，使其成为评估皮肤镜图像分析算法鲁棒性的黄金标准。

常用场景

经典使用场景

在皮肤镜图像分析领域，HAM10000数据集作为多源色素性皮肤病变影像的里程碑式资源，其最经典的使用场景集中于基于深度学习的皮肤病变分类任务。研究者利用该数据集中的10015张涵盖七类常见病变（如黑色素瘤、基底细胞癌、光化性角化病等）的多模态图像，训练卷积神经网络模型以实现高精度的自动诊断。该数据集通过提供来自不同人群、不同采集设备及存储方式的多样化样本，有效克服了此前皮肤病变数据集规模小、多样性匮乏的局限，成为评估和比较皮肤癌诊断算法性能的基准测试平台。

衍生相关工作

HAM10000数据集催生了大量具有影响力的衍生工作，例如ISIC 2018挑战赛中的皮肤病变分割与分类任务，直接推动了U-Net、EfficientNet等架构在医学影像领域的优化。后续研究如Tschandl等人提出的基于迁移学习的多任务模型，以及利用生成对抗网络进行数据增强以缓解类别不平衡的方法，均以该数据集为基石。此外，融合临床元数据（如年龄、性别、病变部位）的多模态诊断框架，以及针对皮肤镜图像去偏置的公平性研究，也广泛依赖HAM10000作为验证基准。这些工作共同构建了从图像特征提取到临床决策支持的完整技术生态。

数据集最近研究

最新研究方向

基于HAM10000数据集的皮肤癌智能诊断研究正聚焦于多模态融合与深度学习模型的鲁棒性提升。该数据集涵盖七类色素性病变的皮肤镜图像，其中超过半数病例经组织病理学确认，为训练高精度分类网络提供了可靠基准。当前前沿方向包括利用对抗生成网络增强罕见病变样本、开发可解释性注意力机制以定位病灶区域，以及结合患者年龄、性别与解剖部位等元数据进行跨模态预测。值得注意的是，ISIC 2018挑战赛设立的官方测试集持续推动模型公平对比，使HAM10000成为评估自动化皮肤癌筛查系统临床转化潜力的黄金标准。这一资源有效缓解了医疗影像数据稀缺问题，加速了基于人工智能的皮肤病辅助诊断技术向真实世界部署的进程。