面向高精度交互的高密度手指关键点检测数据

该数据集提供了超越标准21个关键点的高密度标注，例如在每个指节上增加额外的点，总计达到42个或更多的关键点。此数据适用于需要捕捉手指细微弯曲和表面形态的应用，如超写实虚拟化身的手部动画、专业的音乐演奏（虚拟乐器）模拟、以及需要精细触觉反馈的远程操作系统。利用该数据训练的模型能够生成更加平滑和逼真的手部姿态，解决了标准模型在表现手指精细动作时出现失真或“折断感”的问题。高密度关键点检测旨在提供更丰富的手指形态信息。具体过程包括：（1）数据收集：采集手部图像，并进行21个关键点的高密度人工标注。（2）数据处理：由于关键点数量增多，处理时需要更关注点与点之间的结构关系。采用图神经网络（GNN）来增强模型对局部细节的感知。图像特征是手部图像在高维特征空间的表示，公式为 F_dense​=Encoderdetail(I_hand)，其中 Encoderdetail是一个注重细节捕捉的编码器,I_hand为输入的手部图像，F_dense为提取的图像特征。（3）模型构建：构建回归模型，预测三维关键点坐标。根据公式 KPsdense​=Decoderdense_kpt​(F_dense) 进行解码，其中KPsdense为预测的三维关键点坐标，由21个三维关键坐标点组成；关键评估指标除了MPJPE外，还包括曲率误差等用于衡量手指弯曲形态准确性的指标。

搜集汇总

背景与挑战

背景概述

该数据集是一个专注于高精度交互的高密度手指关键点检测数据集合，提供超越标准21个关键点的高密度人工标注（如42个或更多关键点），旨在捕捉手指细微弯曲和表面形态。它适用于超写实虚拟化身手部动画、专业音乐演奏模拟和精细触觉反馈远程操作系统等场景，通过使用图神经网络等技术增强模型对局部细节的感知，以解决标准模型在表现手指精细动作时的失真问题，数据规模为83.47条，按需更新。