OpenCap

OpenCap数据集是由斯坦福大学创建，专注于生物力学研究的MoCap和多视角数据集。该数据集包含10个不同受试者执行的16种常见生物力学研究中的运动，如深蹲、从坐到站、跳跃和行走，每种运动持续2至8秒，由5个同步校准的摄像头记录。数据集提供了3D标记数据，使用OpenSim的逆运动学工具和Rajagopal模型获取关节角度作为基准真值。OpenCap数据集旨在为评估姿势估计模型在生物力学相关任务中的效能提供全面基准，特别关注于提高关节角度估计的准确性，以促进计算机视觉和生物力学领域的协同进步。The OpenCap dataset is a motion capture (MoCap) and multi-view dataset created by Stanford University for biomechanics research. This dataset includes 16 common motion tasks from biomechanics research performed by 10 distinct human subjects, such as squats, sit-to-stands, jumps, and walking. Each task lasts 2 to 8 seconds and is recorded by 5 synchronously calibrated cameras. The dataset provides 3D marker data, with joint angles obtained using OpenSim's inverse kinematics tool and the Rajagopal model as the ground truth. The OpenCap dataset aims to provide a comprehensive benchmark for evaluating the performance of pose estimation models on biomechanics-related tasks, with a particular focus on improving the accuracy of joint angle estimation to foster collaborative advancement across the fields of computer vision and biomechanics.

搜集汇总

数据集介绍

构建方式

OpenCapBench 数据集的构建基于 OpenCap 数据集，该数据集由 10 位不同受试者进行的 16 种运动（如深蹲、站立、跳跃和行走）组成，每种运动持续 2 到 8 秒。这些运动由 5 个同步校准的摄像头记录，并使用 8 个摄像头动作捕捉系统跟踪 31 个反光标记的位置。OpenCapBench 的基准测试流程包括 2D 关键点提取、3D 三角测量和逆运动学步骤，以评估姿势估计模型的性能。该流程旨在提供一个自动化和公平的基准，以评估最基本的人体姿势估计任务，同时尽可能减少信息丢失。

特点

OpenCapBench 的特点包括：1. 针对生物力学和姿势估计的基准测试，使用 OpenSim 软件计算一致的动力学指标。2. 提供了一个模块化设计，能够评估各种姿势估计任务，包括 2D 单帧姿势估计和单帧 SMPL 姿势和形状估计。3. 包含一个自动标记流程，可以创建任何使用 SMPL 建模其主题的合成数据集的 2D 关键点注释。4. 允许用户使用预训练的 2D 姿势估计模型，并通过在合成数据上微调模型来预测任意一组身体关键点。

使用方法

OpenCapBench 的使用方法包括：1. 将 2D 姿势估计模型应用于 OpenCap 数据集中的视频序列，以提取 2D 关键点。2. 使用双目相机进行 3D 三角测量，将 2D 关键点转换为 3D 关键点。3. 使用 Rajagopal 肌肉骨骼模型进行逆运动学分析，从 3D 关键点估计关节运动学。4. 使用 RMSE 等指标评估关节角度的准确性。5. 使用 OpenCapBench 的排行榜比较不同模型的性能。

背景与挑战

背景概述

OpenCapBench是一个旨在弥合姿态估计和生物力学领域之间差距的基准测试平台。该数据集由斯坦福大学和马克斯·普朗克智能系统研究所的研究人员共同开发，旨在通过生理约束评估人类姿态估计中的常见任务。OpenCapBench利用开源的肌肉骨骼建模软件OpenSim提供一致的关节角度，以计算一致的动力学指标。该平台展示了当前姿态估计模型使用的关键点过于稀疏，无法进行准确的生物力学分析。为了解决这一挑战，研究人员引入了SynthPose，一种利用合成数据对预训练的2D人体姿态模型进行微调的新方法，从而预测任意密集的关键点集，实现准确的动力学分析。OpenCapBench允许用户在具有临床相关队列上对其开发的模型进行基准测试，旨在推动计算机视觉和生物力学社区的共同进步。

当前挑战

OpenCapBench面临的挑战包括：1)解决领域问题的挑战：当前姿态估计基准主要使用诸如平均每关节位置误差、正确关键点百分比或平均平均精度的指标来评估性能，而没有量化运动学和生理正确性，这是生物力学中的关键方面。2)构建过程中的挑战：OpenCapBench需要整合来自OpenSim的关节角度数据，并开发SynthPose方法，利用合成数据对姿态估计模型进行微调，以预测更密集的关键点集。此外，OpenCapBench目前主要关注下半身动力学，未来需要扩展到上半身动力学和上肢评估，以实现更全面的人类运动分析。

常用场景

经典使用场景

OpenCap 数据集旨在弥合姿态估计和生物力学之间的差距，为评估人体姿态估计任务提供一个统一的基准，并评估其在生理约束下的表现。OpenCapBench 通过计算由开源肌肉骨骼建模软件 OpenSim 提供的关节角度来生成一致的动力学指标。此外，OpenCapBench 还展示了当前姿态估计模型使用的关键点过于稀疏，无法进行精确的生物力学分析。为了解决这一挑战，OpenCapBench 引入了 SynthPose，这是一种新的方法，可以微调预训练的二维人体姿态模型，以预测任意密集的关键点集，从而通过使用合成数据进行准确的动力学分析。

衍生相关工作

OpenCap 数据集的发布推动了相关领域的研究进展。例如，SynthPose 方法的提出，为姿态估计模型在生物力学分析中的应用提供了新的思路。此外，OpenCap 数据集还为其他相关研究提供了重要的参考，例如使用合成数据进行模型训练、使用 OpenSim 进行动力学分析等。OpenCap 数据集的发布，为人体姿态估计和生物力学分析领域的研究提供了重要的数据基础和工具支持。

数据集最近研究

最新研究方向

OpenCapBench 作为一种评估人体姿态估计模型在生理约束下的性能的基准，通过引入 SynthPose 方法，利用合成数据对预训练的 2D 人体姿态模型进行微调，从而预测更密集的关键点集，以实现更准确的运动学分析。该方法在 OpenCapBench 基准测试中展现出显著的性能提升，将平均关节角度 RMSE 降低了两倍。此外，OpenCapBench 允许用户在其临床相关的队列上对其开发的模型进行基准测试，促进了计算机视觉和生物力学领域的融合。

相关研究论文

• OpenCapBench: A Benchmark to Bridge Pose Estimation and Biomechanics

  斯坦福大学 · 2024年