Voxel51/DensePose-COCO

DensePose-COCO是一个大规模的真实数据集，包含在COCO图像上手动注释的图像到表面对应关系。该数据集由Rıza Alp Güler, Natalia Neverova, Iasonas Kokkinos等人策划，主要用于密集人体姿态估计任务。数据集包含33929个样本，分为train和val两个分割。数据集的媒体类型为图像，包含的字段有id、filepath、tags、metadata、detections、segmentations和keypoints。数据集的创建动机和注释过程可以参考其主页和论文。DensePose-COCO is a large-scale ground-truth dataset with image-to-surface correspondences manually annotated on COCO images. The dataset is curated by Rıza Alp Güler, Natalia Neverova, Iasonas Kokkinos, and is primarily used for dense human pose estimation. The dataset contains 33929 samples, divided into train and val splits. The media type of the dataset is image, and it includes fields such as id, filepath, tags, metadata, detections, segmentations, and keypoints. The rationale for the dataset creation and the annotation process can be referred to on its homepage and the associated paper.

原始信息汇总

数据集卡片：DensePose-COCO

数据集概述

DensePose-COCO 是一个大规模的地面实况数据集，包含在 COCO 图像上手动标注的图像到表面对应关系。

数据集详情

数据集描述

• 创建者： Rıza Alp Güler, Natalia Neverova, Iasonas Kokkinos
• 语言： 英语
• 许可证： cc-by-nc-2.0

数据集来源

• 仓库： https://github.com/facebookresearch/Densepose
• 论文： https://arxiv.org/abs/1802.00434
• 主页： http://densepose.org/

用途

密集人体姿态估计

数据集结构

• 名称： DensePoseCOCO
• 媒体类型： 图像
• 样本数量： 33929
• 持久性： False
• 标签： []
• 样本字段：
  • id: fiftyone.core.fields.ObjectIdField
  • filepath: fiftyone.core.fields.StringField
  • tags: fiftyone.core.fields.ListField(fiftyone.core.fields.StringField)
  • metadata: fiftyone.core.fields.EmbeddedDocumentField(fiftyone.core.metadata.ImageMetadata)
  • detections: fiftyone.core.fields.EmbeddedDocumentField(fiftyone.core.labels.Detections)
  • segmentations: fiftyone.core.fields.EmbeddedDocumentField(fiftyone.core.labels.Detections)
  • keypoints: fiftyone.core.fields.EmbeddedDocumentField(fiftyone.core.labels.Keypoints)

数据集包含两个拆分：“train”和“val”。样本根据其拆分进行标记。

数据集创建

创建动机

请参考主页和论文以获取创建动机。

标注过程

请参考 GitHub 仓库以获取标注过程。

引用

BibTeX: bibtex @InProceedings{Guler2018DensePose, title={DensePose: Dense Human Pose Estimation In The Wild}, author={Rıza Alp Güler, Natalia Neverova, Iasonas Kokkinos}, journal={The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, year={2018} }

数据集卡片作者

Kishan Savant

搜集汇总

数据集介绍

构建方式

DensePose-COCO 数据集是在大规模 COCO 图像基础上，通过人工标注图像与人体表面之间的密集对应关系而构建的。其标注过程由 Rıza Alp Güler 等人主导，依托于 DensePose 项目的开源工具与流程，对 COCO 图像中的人体实例进行精细的 UV 坐标映射，从而生成从像素到人体表面的密集对应信息。该数据集包含 33,929 个样本，划分为训练集和验证集两个子集，每个样本均附带检测、分割及关键点等标注字段，为密集人体姿态估计任务提供了高精度的基准数据。

特点

该数据集的核心特色在于其提供了图像到人体表面的密集对应关系，这是传统关键点或分割标注所无法比拟的。它通过 UV 坐标映射，实现了对人体表面每个像素的精确位置描述，从而支持更精细的人体姿态分析与重建。此外，数据集依托 FiftyOne 框架进行组织，具备良好的可扩展性与可视化能力，样本字段涵盖检测、分割、关键点等多种标签类型，便于多任务学习与模型评估。其标注规模与质量在同类数据集中处于领先地位，为密集人体姿态估计领域的研究奠定了坚实基础。

使用方法

使用 DensePose-COCO 数据集需先安装 FiftyOne 库，通过 pip install -U fiftyone 命令完成。随后在 Python 环境中导入 fiftyone 和 fiftyone.utils.huggingface 模块，调用 fouh.load_from_hub('Voxel51/DensePose-COCO') 即可加载数据集。用户可通过 max_samples 参数控制加载样本数量。加载后，利用 fo.launch_app(dataset) 启动 FiftyOne 的图形界面，实现对数据集的交互式浏览、标注可视化与统计分析。该流程简洁高效，适合研究人员快速开展数据探索与模型训练前的准备工作。

背景与挑战

背景概述

人体姿态估计是计算机视觉领域的一项核心任务，旨在从图像中推断人体关键点或表面结构。传统方法多聚焦于稀疏关键点检测，难以捕捉人体表面的连续形变与细节。为突破这一局限，Rıza Alp Güler、Natalia Neverova与Iasonas Kokkinos于2018年提出DensePose-COCO数据集，由Facebook AI Research主导创建。该数据集基于COCO图像，通过手工标注为超过3.9万张图像提供了密集的图像到人体表面的对应关系，覆盖数十万个人体实例。其核心研究问题在于实现从二维图像到三维人体表面稠密映射的像素级理解。DensePose-COCO的发布推动了密集人体姿态估计（Dense Human Pose Estimation）这一子领域的发展，为后续研究如DensePose-RCNN提供了关键基准，并广泛应用于增强现实、人机交互与动作分析等场景。

当前挑战

DensePose-COCO所解决的领域问题在于，传统稀疏关键点方法无法表达人体表面的连续几何与拓扑结构，而稠密对应关系的建立需应对人体非刚性变形、自遮挡与复杂背景的干扰。构建过程中，标注人员需在每张图像的人体区域上精确绘制UV坐标映射，其标注复杂度与成本远高于关键点标注，涉及跨视角一致性检验与歧义处理。此外，数据集规模虽达3.4万样本，但相较于COCO全量图像，覆盖的人体姿态与衣着多样性仍有限，导致模型在罕见姿态或非标准服装下的泛化能力不足。标注噪声与部分遮挡区域的模糊对应进一步增加了算法鲁棒性的挑战，使得从图像到表面映射的精确回归成为长期难题。

常用场景

经典使用场景

在计算机视觉领域，人体姿态估计一直是研究的热点与难点。DensePose-COCO数据集以其独特的优势，成为密集人体姿态估计任务中不可或缺的基石。该数据集在COCO图像上精心标注了图像到人体表面的稠密对应关系，使得模型能够从二维图像中精确推断出三维人体表面的坐标信息。其经典使用场景在于训练和评估能够输出人体表面UV坐标的深度学习模型，这些模型不仅定位关键点，更实现了对人体表面每个像素的密集回归，从而突破传统稀疏关键点估计的局限。

衍生相关工作

自DensePose-COCO数据集发布以来，它已成为众多经典学术工作的基石与催化剂。最直接的衍生工作是Facebook AI研究院提出的DensePose-RCNN模型，该模型首次将区域卷积神经网络拓展至密集人体姿态估计任务，开创了该领域的先河。此后，一系列改进工作如DensePose-RCNN的多种变体、基于Transformer的密集姿态估计架构等相继涌现，不断刷新性能记录。此外，该数据集还催生了人体表面解析、稠密人体重建、基于图像的虚拟服装生成等多个交叉研究方向，产出了一系列高影响力的论文与开源项目，深刻影响了计算机视觉领域的发展格局。

数据集最近研究

最新研究方向

DensePose-COCO数据集作为密集人体姿态估计领域的基石，近年来持续推动着2D图像到3D人体表面映射的前沿探索。随着虚拟现实（VR）、增强现实（AR）以及数字人技术的爆发式增长，该数据集在人体形状重建、服装迁移和动作捕捉等方向展现出不可替代的价值。研究者们正利用其精细的图像-表面标注，结合深度学习中的Transformer架构和扩散模型，突破传统关键点检测的局限，实现更鲁棒、更密集的像素级人体对应关系预测。特别是在2023年Meta发布的高保真数字人项目中，DensePose-COCO被广泛用于训练能够处理复杂姿态与遮挡的模型，显著提升了虚拟角色驱动的真实感。这一研究路径不仅加速了人机交互技术的商业化落地，还为体育分析、医疗康复等跨学科应用提供了关键数据支撑。