InfiniteForm

InfiniteForm是由边缘分析公司创建的一个开源合成数据集，专门针对健身领域。该数据集包含60000张图像，涵盖15种健身姿势类别，包括单人和多人场景，以及真实的光照、摄像机角度和遮挡变化。数据集设计旨在最小化性别、肤色和体型偏见，提供包括2D关键点、深度和遮挡在内的精确标签。创建过程中采用了Blender和物理基础渲染引擎，以及SMPL-X身体模型，确保了图像的真实性和多样性。InfiniteForm数据集主要用于训练和评估计算机视觉模型，以解决远程健身中的视觉问题，如姿势矫正、能量消耗估计和重复计数等。InfiniteForm is an open-source synthetic dataset created by Edge Analytics, specifically targeting the fitness domain. This dataset contains 60,000 images covering 15 fitness pose categories, including single-person and multi-person scenarios, as well as variations in real-world lighting, camera angles, and occlusions. The dataset is designed to minimize biases related to gender, skin color, and body type, and provides precise annotations including 2D keypoints, depth information, and occlusion status. Blender, physically based rendering engines, and the SMPL-X body model were utilized during the dataset creation process to ensure the authenticity and diversity of the images. The InfiniteForm dataset is primarily used for training and evaluating computer vision models to address visual challenges in remote fitness scenarios, such as pose correction, energy expenditure estimation, and repetition counting.

搜集汇总

数据集介绍

构建方式

InfiniteForm数据集的构建采用了先进的计算机图形学技术，通过开源软件Blender和物理基础的渲染引擎，创建了60k张640x480分辨率的图像。每张图像包含1-5个真实感的avatar，这些avatar执行着15个不同健身姿势类别的独特变化。构建过程中，通过随机采样SMPL-X模型形状和面部表情参数，以及随机选择服装和肤色，引入了人体尺寸、服装和肤色的真实变化。此外，使用147个4K HDRI全景图作为背景和光源，以实现自然多样的光照效果。数据集的生成采用了创新的姿势生成流程，包括从真实世界视频提取姿势，映射到低维空间，并拟合多变量正态分布，从而生成新的3D姿势。

使用方法

使用InfiniteForm数据集，研究人员可以通过访问其提供的丰富标注，包括2D和3D关键点、遮挡关节、语义分割、深度图等，来训练和评估各种计算机视觉模型。数据集的使用包括下载和加载数据，然后根据具体的应用需求，如健身姿势估计、动作识别等，对模型进行训练和测试。用户可以利用数据集中的详细元数据，如相机俯仰角、背景和旋转、姿势类别和变化等，来优化模型的性能。

背景与挑战

背景概述

随着远程健身的兴起，对于能够精确追踪人类姿态的计算机视觉模型的需求日益增长。然而，目前最先进的方法在许多现实世界的健身场景中仍然失败，这表明当前数据集与现实世界健身数据之间存在领域差距。针对这一需求，Edge Analytics Inc.的研究团队创建了InfiniteForm数据集，这是一个开源的合成数据集，包含60k张图像，涵盖了多样化的健身姿态（15个类别），单人和多人场景，以及真实的光照、摄像机角度和遮挡变化。InfiniteForm通过最小化身体形状和肤色的偏差，提供了像素级的精确标签，为标准注释和深度、遮挡等难以或无法由人类产生的标签提供了可能。该数据集的创建旨在解决远程健身领域特有的视觉问题，为相关研究提供了重要的资源。

当前挑战

InfiniteForm数据集在构建过程中面临了多个挑战。首先，它需要解决的是与现实世界健身场景之间的领域差距问题，这要求数据集必须包含多样化的复杂姿态、视角变化和挑战性的光照条件。其次，在构建过程中，研究团队遇到了如何生成逼真的合成姿态、保持生物力学可行性、以及如何在不同的背景和光照条件下保持一致性等问题。此外，数据集的合成性质要求必须最小化偏差，以确保训练出的机器学习模型不会受到不公正的影响。这些挑战不仅要求精确的数据生成技术，还需要创新的姿态生成流程和细致的标注工作。

常用场景

经典使用场景

在计算机视觉领域，InfiniteForm数据集以其独特的合成图像和丰富的标注信息，成为研究健身应用中人体姿态估计问题的经典资源。该数据集提供了60k张图像，涵盖15种健身姿态类别，包含单人和多人场景，以及真实的光照、摄像机角度和遮挡变化。其经典的运用场景在于，研究人员可以利用这一数据集训练和评估计算机视觉模型，以实现对健身姿态的准确识别和跟踪，从而为用户提供个性化的健身指导。

解决学术问题

InfiniteForm数据集解决了现有数据集在健身应用中存在的领域差距问题。它通过提供高度多样化的姿态和场景，帮助研究者克服了传统数据集在复杂姿态、多视角变化和挑战性光照条件方面的不足。此外，作为合成数据集，InfiniteForm减少了性别、肤色和身体形态的偏见，为训练无偏见的机器学习模型提供了可能。

实际应用

在实际应用中，InfiniteForm数据集可被用于开发远程健身应用程序，如Peloton和Apple Fitness+等，以提供实时的人体姿态分析。这些应用程序能够利用数据集中的信息，为用户提供姿态校正、能量消耗估计和动作重复计数等个性化反馈，从而增强用户的健身体验。

数据集最近研究

最新研究方向

针对远程健身领域对高精度计算机视觉模型的需求，InfiniteForm数据集应运而生。该数据集通过合成的方式，提供了60k张包含多种健身姿态的图像，旨在缩小现有数据集与实际健身场景之间的领域差距。InfiniteForm的特色在于其合成数据避免了真实世界数据中常见的身体形状、肤色偏见，并为标准注释和难以或无法由人工生成的深度和遮挡提供了像素级精确标签。近期研究利用该数据集，聚焦于提升计算机视觉模型在健身应用中的稳健性，特别是在多姿态、多视角以及复杂光照条件下的表现，为远程健身提供了有力的技术支撑。

相关研究论文

• InfiniteForm: A synthetic, minimal bias dataset for fitness applications

  边缘分析公司 · 2021年