HSPACE (Human-SPACE)

目前，3d 人体传感技术的进步受到缺乏具有 3d 地面实况的视觉数据集的限制，包括多人，在运动中，在现实世界环境中操作，具有复杂的照明或遮挡，并可能被移动相机。复杂的场景理解需要估计人体姿势和形状以及手势，以实现最终将有用的度量和行为信号与自由视点照片般逼真的可视化能力相结合的表示。为了保持进步，我们构建了一个大型逼真的数据集 Human-SPACE (HSPACE)，其中包含放置在复杂合成室内和室外环境中的动画人类。我们将一百个不同年龄、性别、比例和种族的不同个体与数百个动作和场景以及身体形状的参数变化（总共 1,600 个不同的人）相结合，以生成一个初始数据集超过100万帧。人体动画是通过将富有表现力的人体模型 GHUM 拟合到单次扫描的人而获得的，然后是支持穿着人的逼真动画、身体比例的统计变化以及联合一致的场景放置的新颖的重新定位和定位程序。多个移动的人。资产是自动大规模生成的，并且与现有的实时渲染和游戏引擎兼容。带有评估服务器的数据集将可用于研究。我们对影响合成数据的大规模分析，结合真实数据和薄弱的监督，强调了在这种实际环境中，与增加模型容量相关的持续质量改进和限制模拟与真实差距的巨大潜力。