BlurHand

BlurHand数据集是由首尔国立大学电气与计算机工程系及人工智能研究所与Meta现实实验室研究部合作创建的，专注于提供带有自然模糊效果的手部图像及其精确的3D标注。该数据集通过合成技术，从高帧率视频中生成模糊图像，模拟真实世界中的手部运动模糊。数据集包含121,839个训练样本和34,057个测试样本，适用于开发和评估从模糊图像中恢复3D手部网格的算法。BlurHand数据集的应用领域包括增强现实/虚拟现实，以及其他需要对手部动作进行精确3D建模的场景，旨在解决现有数据集中缺乏模糊手部图像的问题。

BlurHand Dataset was collaboratively created by the Department of Electrical and Computer Engineering and the Institute of Artificial Intelligence at Seoul National University, in partnership with the Research Division of Meta Reality Labs. This dataset focuses on providing hand images with natural blur effects and their precise 3D annotations. It generates blurred images from high-frame-rate videos via synthesis technologies, simulating real-world hand motion blur. The dataset contains 121,839 training samples and 34,057 test samples, and is suitable for developing and evaluating algorithms that recover 3D hand meshes from blurred images. The application fields of BlurHand Dataset include augmented reality/virtual reality (AR/VR) and other scenarios requiring precise 3D modeling of hand movements, aiming to address the shortage of blurred hand image datasets in existing resources.

搜集汇总

数据集介绍

构建方式

BlurHand数据集通过从连续的清晰手部图像中合成运动模糊来构建，从而模仿真实和自然的运动模糊。为了弥补低帧率（30帧/秒）的InterHand2.6M视频数据集，采用了广泛使用的视频插值方法将帧率提高到240帧/秒。通过平均33个连续的插值帧来合成单个模糊手部图像。对于每个合成的模糊图像，分别从InterHand2.6M 30fps的第1、3和5帧中分配3D真实值作为初始、中间和最终的真实值。最终，BlurHand数据集包含了121,839个训练样本和34,057个测试样本，包括单个和交互的模糊手部图像。

特点

BlurHand数据集的主要特点是它包含了自然模糊的手部图像，这些图像带有精确的3D真实值。与现有的数据集不同，BlurHand专门针对手部运动模糊进行了设计，这对于开发鲁棒的3D手部网格估计框架至关重要。此外，BlurHandNet网络的提出，能够从单个模糊手部图像中恢复3D手部网格序列，利用了模糊输入图像中的时间信息，而之前的作品只输出静态的单个手部网格。BlurHandNet网络通过Unfolder模块和时间展开，有效地将模糊输入图像分解为三个连续的手部网格，从而提供了更多与运动相关的信息。KTFormer模块进一步利用了时间信息，通过自我注意机制增强了时间手部特征，使得网络能够隐式地考虑三个时间步长之间手部的运动学和时间关系。

使用方法

BlurHand数据集可用于训练和评估3D手部网格估计模型。BlurHandNet网络可以作为从模糊手部图像中恢复3D手部网格序列的基准网络。使用BlurHand数据集训练的模型在模糊图像上表现出更高的鲁棒性，并且能够很好地泛化到真实世界中的模糊手部图像。此外，BlurHandNet网络的设计使得它可以轻松扩展以处理更多数量的手部序列，以满足特定应用的需求。在进行训练时，BlurHandNet网络使用Adam优化器，并采用两个NVIDIA 2080 Ti GPU进行训练。训练过程中采用了时间顺序不变损失和Unfolder驱动的时间顺序，以解决时间顺序的模糊性。实验结果表明，BlurHandNet网络在估计3D手部网格方面取得了最先进的性能，即使在模糊图像上也能产生更准确的结果。

背景与挑战

背景概述

BlurHand数据集的创建旨在解决动态运动中手部图像模糊的问题，这对于三维手部网格恢复具有重要意义。该数据集由韩国首尔国立大学和Meta Reality Labs Research的研究人员于2023年3月提出，旨在为手部图像的模糊处理提供一个新的视角。由于手部在运动中经常出现模糊，因此开发一个能够从模糊图像中恢复三维手部网格的框架变得必要。BlurHand数据集的创建填补了这一领域的空白，提供了包含真实模糊手部图像的数据集，并附有准确的三维地面真实值。此外，BlurHandNet的提出，作为从模糊手部图像中准确恢复三维手部网格的基线网络，进一步推动了该领域的研究。BlurHand数据集的创建及其相关的网络模型，对于三维手部网格恢复领域具有深远的影响，为后续研究提供了宝贵的资源。

当前挑战

BlurHand数据集及其相关研究面临着一些挑战。首先，手部图像的模糊是由于其动态运动引起的，这使得边界模糊不清，难以识别，从而显著降低了三维手部网格估计的性能。其次，传统的去模糊方法仅恢复运动中部的清晰图像，限制了利用时间信息的机会，而时间信息对于三维网格估计可能非常有用。为了克服这些挑战，BlurHandNet提出了一个新的模块Unfolder，用于将模糊的手部图像展开成三个连续的手部网格，从而提取时间信息。此外，KTFormer模块被设计来利用时间信息，通过自我关注机制增强时间手部特征。实验结果表明，BlurHandNet在模糊手部图像的三维网格估计方面取得了显著的性能提升。然而，BlurHandNet在处理包含多种复杂退化（如低分辨率、噪声、低光照）的输入图像时，其鲁棒性还有待提高，这将是未来研究的一个方向。

常用场景

经典使用场景

在3D手部网格估计领域，BlurHand数据集被广泛应用于评估和训练模型对模糊手部图像的恢复能力。该数据集的模糊图像是通过从连续的清晰手部图像中合成运动模糊得到的，从而模拟现实生活中的自然运动模糊。BlurHandNet作为基准网络，能够从单个模糊手部图像中恢复出3D手部网格序列，而不仅仅是静态的单个手部网格。这种时间展开的方法使得模型能够利用模糊输入图像中的时间信息，从而提高恢复的准确性。

衍生相关工作

BlurHand数据集的提出和BlurHandNet模型的设计，为3D手部网格估计领域带来了新的研究方向。基于BlurHand数据集，研究人员可以进一步探索如何利用模糊图像中的时间信息来提高3D手部网格估计的准确性和鲁棒性。同时，BlurHandNet模型中的时间展开模块和KTFormer模块也为其他时间序列数据的研究提供了新的思路和方法。此外，BlurHand数据集的构建方法和BlurHandNet模型的训练策略，也为其他类似数据集和模型的开发提供了参考和借鉴。

数据集最近研究

最新研究方向

在3D手部网格恢复领域，BlurHand数据集的提出及其配套的BlurHandNet网络模型为研究模糊手部图像的3D网格恢复提供了新的方向。该数据集通过合成运动模糊，模拟真实场景中的模糊效果，为研究手部运动模糊提供了可靠的实验数据。BlurHandNet网络模型则通过时间展开模块和运动学时间Transformer（KTFormer）有效地利用了模糊图像中的时间信息，实现了从单张模糊手部图像恢复3D手部网格序列。这一研究不仅为3D手部网格恢复提供了新的思路，也对增强现实/虚拟现实（AR/VR）等领域具有重要意义。

相关研究论文

• Recovering 3D Hand Mesh Sequence from a Single Blurry Image: A New Dataset and Temporal Unfolding

  首尔国立大学电气与计算机工程系及人工智能研究所，Meta现实实验室研究部 · 2023年