Amputee 3D (A3D)

Amputee 3D (A3D) 是一个合成数据集，提供了丰富的截肢者姿态样本，用于截肢者的人体网格恢复训练。该数据集包含超过一百万张高质量图像，模拟了各种截肢情况，涵盖了不同的姿势、服装和背景。A3D 数据集旨在帮助开发更具包容性的 HMR 模型，以解决截肢者在人体网格恢复中的问题。

Amputee 3D (A3D) is a synthetic dataset that provides rich amputee pose samples for training human mesh recovery (HMR) models targeting amputee populations. It contains over one million high-quality images, simulating a wide range of amputation scenarios and covering diverse poses, clothing types and backgrounds. The A3D dataset is designed to facilitate the development of more inclusive HMR models to address the challenges faced by amputees in human mesh recovery tasks.

原始信息汇总

AJAHR: Amputated Joint Aware 3D Human Mesh Recovery

基本信息

• 标题: AJAHR: Amputated Joint Aware 3D Human Mesh Recovery
• 会议: ICCV 2025
• 作者: Hyunjin Cho¹,³*, Giyun Choi¹*, Jongwon Choi¹,²†
• 机构:
  • ¹ Dept. of Advanced Imaging, GSAIM, Chung-Ang University, Seoul, Korea
  • ² Dept. of Artificial Intelligence, Chung-Ang University, Seoul, Korea
  • ³ Korea Institute of Industrial Technology (KITECH), Seoul, Korea
• 贡献说明: * 表示同等贡献，† 表示通讯作者

摘要

现有的人体网格恢复方法假设标准人体结构，忽略了截肢等多样化的解剖条件。这种假设在应用于截肢个体时引入偏差，且缺乏合适的数据集进一步加剧了这一局限性。为解决这一问题，提出了AJAHR（Amputated Joint Aware 3D Human Mesh Recovery），这是一种自适应姿态估计框架，可改善截肢个体的网格重建。该模型集成了一个身体部位截肢分类器（BPAC-Net），与网格恢复网络联合训练，以检测潜在截肢情况。同时引入了Amputee 3D（A3D）合成数据集，提供广泛的截肢者姿态以进行鲁棒训练。该方法在保持非截肢者竞争性能的同时，在截肢个体上实现了最先进的结果。

模型与方法

• 输入数据: 典型人体姿态数据集和A3D数据集（截肢个体的合成数据集）。
• 核心组件:
  • 使用BPAC-Net（身体部位截肢分类器）检测肢体缺失。
  • 利用该信息指导截肢者和非截肢者的网格恢复。
  • 根据预测的身体部位状态连接到不同的预训练分词器，这些分词器在训练期间保持冻结，而模型的其余部分相应优化。

数据集

• A3D数据集: 合成数据集，提供广泛的截肢者姿态用于鲁棒训练。

性能比较

• 对比方法: TokenHMR、HMR2.0、BEDLAM-CLIFF。
• 优势: AJAHR利用BPAC-Net显式表示输入图像中的截肢区域，而其他方法未使用BPAC-Net识别截肢区域。

引用

bibtex @article{cho2025ajahr, title = {AJAHR: Amputated Joint Aware 3D Human Mesh Recovery}, author = {Hyunjin Cho and Giyun Choi and Jongwon Choi}, journal = {arXiv preprint arXiv:2509.19939}, year = {2025} }

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，针对截肢者的三维人体网格恢复研究长期面临真实数据稀缺的伦理与采集挑战。A3D数据集通过创新的多阶段合成管道构建：首先利用ScoreHMR模型从基准数据集提取SMPL参数，通过索引选择模块模拟不同截肢类型，将截肢关节及其子关节的姿势参数置零以生成解剖学准确的网格；随后整合BEDLAM的肤色与服装纹理资源，确保性别与种族的多样性平衡；最后采用分段模型与LaMa修复技术清除背景中的人物区域，将合成网格投影至纯净背景上，形成包含百万级样本的高质量数据集。

特点

该数据集的核心价值在于其开创性地填补了截肢者三维姿态数据的空白。其特色体现在多维度平衡设计：涵盖手部、前臂、全臂、脚踝、膝盖及全腿等六类典型截肢模式，并依据非截肢者基准姿态进行合理扩展；人口分布遵循非洲、亚洲、印度各占20%，西班牙裔、中东、东南亚及白种人各占10%的均衡比例，确保模型训练的泛化能力。所有样本均提供SMPL参数、三维/二维关节坐标及详细截肢区域标注，其中二维关键点对不可见区域采用(0,0)坐标掩码，而三维数据保留截肢关节的语义监督信号，有效区分遮挡与截肢的建模差异。

使用方法

该数据集主要服务于自适应人体网格恢复模型的训练与评估。在使用过程中，研究者可将其与BEDLAM、Human3.6M等传统数据集联合训练，通过均衡采样策略平衡截肢与非截肢样本。数据集提供的完整SMPL标注支持端到端监督学习，其中二维关键点损失适用于可见关节优化，三维关节与网格顶点损失则驱动模型学习截肢区域的几何约束。对于评估环节，建议配合ITW-amputee真实世界测试集验证模型泛化性能，同时利用A3D的解剖学标签进行消融实验，分析截肢分类器与姿态重建模块的交互影响。

背景与挑战

背景概述

Amputee 3D (A3D)数据集于2025年由韩国中央大学先进成像系的研究团队Hyunjin Cho、Giyun Choi和Jongwon Choi共同创建，旨在解决三维人体网格重建领域对肢体残障人群的忽视问题。该数据集作为首个专门针对截肢者姿态估计的合成数据集，填补了现有数据在解剖结构多样性方面的空白。其核心研究问题聚焦于如何通过合成数据管道生成高质量的截肢者姿态样本，以支持包容性人体网格恢复模型的训练。A3D的推出显著推动了计算机视觉领域向更具包容性的人体姿态分析方向发展，为残疾人群的数字表征提供了重要技术支撑。

当前挑战

该数据集面临的领域挑战主要体现为现有人体网格恢复方法对标准人体结构的固有假设，导致在截肢者应用时产生肢体幻象和姿态偏差。构建过程中的技术挑战包括真实截肢者数据的稀缺性，以及采集过程中涉及的伦理隐私问题。合成数据生成需克服肢体缺失与遮挡的视觉混淆，同时要保证不同截肢类型和种族特征的多样性表征。模型训练还需解决零姿态参数在SMPL模型中的数值稳定性，以及多模态输入下关键点检测质量对分类性能的影响等关键技术难题。

常用场景

经典使用场景

在三维人体网格重建领域，A3D数据集为解决截肢者姿态估计这一长期被忽视的问题提供了关键训练资源。该数据集通过合成数据管道生成超过一百万张高质量图像，模拟了手部、前臂、全臂、脚踝、膝盖和全腿等多种截肢场景，覆盖了日常活动、康复训练及体育运动等多样化姿态。其经典应用体现在为AJAHR框架提供跨解剖结构的自适应训练样本，使模型能够准确区分截肢与遮挡情况，避免对缺失肢体产生虚幻重建。

解决学术问题

A3D数据集直接应对现有人体网格重建方法对标准人体结构的固有假设偏差问题。传统方法在截肢者身上往往产生不合理的姿态估计，如将缺失肢体幻觉为完整肢体。该数据集通过提供精确的SMPL参数、三维关节坐标及截肢区域标注，使模型能学习结构缺失但语义定义的关节表示。其创新性在于采用模态特定的监督机制：二维关键点对不可见区域置零排除监督，而三维关键点与SMPL参数仍作为监督信号，从而在保持模型架构不变的前提下实现解剖结构多样性建模。

衍生相关工作

A3D数据集催生了多项突破性研究，其中最具代表性的是其伴生框架AJAHR。该工作创新性地集成身体部位截肢分类器（BPAC-Net）与分词器切换策略，通过双路分词器分别处理截肢与非截肢样本，在EMDB和3DPW基准测试中保持竞争力的同时，在ITW-amputee数据集上将PA-MPJPE误差降低至77.18毫米。衍生研究还包括基于该数据集的跨模态对比学习框架，通过融合图像与关键点热力图特征，显著提升了模型在复杂遮挡场景下的鲁棒性。这些工作共同推动了包容性人体姿态估计范式的建立。