Human-Art

Human-Art是一个以人为中心的数据集，旨在桥接自然和人工场景。该数据集包含50,000张高质量图像，涵盖了5个自然场景和15个人工场景，总计超过123,000个人物实例。数据集提供了详细的标注，包括边界框、关键点、自接触点和文本信息，适用于多种下游任务，如人体检测、2D和3D姿态估计、图像生成和动作转移。Human-Art的创建旨在解决现有模型在人工场景中表现不佳的问题，为相关研究提供新的挑战和机会。

Human-Art is a human-centric dataset developed to bridge natural and artificial visual scenarios. It contains 50,000 high-quality images, encompassing 5 natural scene categories and 15 artificial scene categories, with a total of over 123,000 human instances. Detailed annotations are provided for the dataset, including bounding boxes, human keypoints, self-contact points, and textual information, which supports a wide range of downstream tasks such as human detection, 2D and 3D pose estimation, image generation, and action transfer. The creation of Human-Art aims to solve the poor performance of existing models in artificial scenarios, providing new challenges and opportunities for relevant research.

搜集汇总

数据集介绍

构建方式

Human-Art数据集的构建过程经过精心设计，涵盖了自然与人工场景中的多样化人类表现形式。首先，研究团队从27个高质量图像网站、线下展览以及生成模型（如Stable Diffusion）中手动筛选了约100万张图像，确保图像的高质量和多样性。随后，通过两次人工筛选和算法过滤，剔除了不包含人类或质量较低的图像，最终保留了5万张高质量图像。这些图像涵盖了20个艺术类别，包括5种自然场景和15种人工场景，并提供了精确的手动标注，如人体边界框、2D关键点、自接触点和文本描述。数据集进一步被划分为训练集、验证集和测试集，比例为70%、10%和20%。

使用方法

Human-Art数据集的使用方法广泛且灵活，适用于多种计算机视觉任务。首先，在人体检测和姿态估计任务中，研究人员可以利用其丰富的标注信息训练和测试模型，尤其是在跨域场景下的泛化能力。其次，数据集的自接触点标注为3D人体网格恢复提供了额外的约束，有助于优化深度估计。此外，Human-Art还可用于图像生成任务，通过其多样化的艺术场景生成具有合理人体结构的图像。最后，数据集支持运动迁移任务，尤其是在跨场景迁移中，通过优化姿态估计模型，显著提升了迁移效果。研究人员可以通过公开的训练集和验证集进行模型开发，并通过测试接口评估模型性能。

背景与挑战

背景概述

Human-Art数据集由国际数字经济学院和香港中文大学的研究团队于2023年提出，旨在填补自然场景与人工场景之间的人体视觉任务研究空白。该数据集包含50,000张高质量图像，涵盖5种自然场景和15种人工场景，共计123,000个人体实例，并提供了丰富的标注信息，包括边界框、关键点、自接触点和文本描述。Human-Art的创建动机源于现有计算机视觉模型在艺术场景（如雕塑、绘画和卡通）中的表现不佳，尤其是在人体检测、姿态估计和图像生成等任务上。通过引入这一数据集，研究团队希望推动跨领域的人体视觉研究，特别是在虚拟现实、增强现实和元宇宙等新兴技术中的应用。

当前挑战

Human-Art数据集面临的挑战主要体现在两个方面。首先，在领域问题上，现有模型在自然场景中表现优异，但在艺术场景中表现显著下降，主要原因在于自然与人工场景之间的领域差异。例如，现有模型在雕塑场景中的平均精度仅为12.6%，远低于自然场景中的63.2%。其次，在数据构建过程中，研究团队面临了图像收集和标注的复杂性。由于艺术场景中的人体形态多样且存在夸张变形，标注工作尤为困难。此外，数据集中的人工场景图像来源广泛，风格各异，如何保证数据的多样性和标注的准确性也是一个重要挑战。这些挑战不仅影响了模型的训练效果，也为未来的研究提供了新的方向。

常用场景

经典使用场景

Human-Art数据集在计算机视觉领域中被广泛应用于跨自然与人工场景的人体相关任务。其经典使用场景包括人体检测、2D和3D人体姿态估计、图像生成以及运动迁移等任务。通过提供高质量的自然与人工场景图像及其丰富的标注信息，Human-Art为这些任务提供了多样化的数据支持，尤其是在处理艺术作品中的人体表现时，弥补了现有数据集在人工场景中的不足。

解决学术问题

Human-Art数据集解决了现有计算机视觉模型在自然与人工场景之间的领域差距问题。传统的人体检测和姿态估计模型在自然场景中表现优异，但在雕塑、绘画等人工场景中表现较差。Human-Art通过提供涵盖5种自然场景和15种人工场景的5万张高质量图像，显著提升了模型在跨场景任务中的泛化能力。此外，其丰富的标注信息（如关键点、自接触点等）为3D人体网格恢复等任务提供了新的研究机会。

实际应用

在实际应用中，Human-Art数据集为虚拟现实（VR）、增强现实（AR）以及元宇宙等领域提供了重要的数据支持。例如，在动画角色生成、角色渲染和角色运动重定向等任务中，Human-Art能够帮助生成具有合理人体结构的艺术图像。此外，该数据集还可用于跨场景的运动迁移任务，提升模型在不同艺术风格中的表现。

数据集最近研究

最新研究方向

Human-Art数据集作为连接自然与人工场景的桥梁，近年来在人本计算机视觉领域引起了广泛关注。该数据集包含5万张高质量图像，涵盖5种自然场景和15种人工场景，提供了丰富的标注信息，如边界框、关键点、自接触点和文本描述。这些标注不仅支持传统的人体检测和姿态估计任务，还为图像生成、运动迁移等新兴任务提供了新的研究机会。随着虚拟现实（VR）、增强现实（AR）和元宇宙的兴起，Human-Art数据集在跨领域任务中的应用潜力愈发显著。例如，在艺术风格的人体图像生成中，该数据集为生成模型提供了多样化的训练样本，显著提升了生成图像的质量和多样性。此外，Human-Art还为跨场景的人体姿态估计和运动迁移任务提供了新的挑战，推动了相关算法的进一步发展。

相关研究论文

• Human-Art: A Versatile Human-Centric Dataset Bridging Natural and Artificial Scenes

  国际数字经济学院 · 2023年