Decaf

Decaf数据集专注于单目变形捕捉，用于面部和手部交互。数据集包含每顶点的3D变形、接触信号、2D关键点、2D边界框、多视图拟合参数、RGB视频、分割掩码以及相机参数等。

The Decaf Dataset focuses on monocular deformation capture for facial and hand interactions. It contains per-vertex 3D deformations, contact signals, 2D keypoints, 2D bounding boxes, multi-view fitting parameters, RGB videos, segmentation masks, camera parameters, and other relevant annotations.

原始信息汇总

数据集概述：Decaf

数据集内容

核心数据

• 3D deformations: 针对FLAME head model的每个顶点的3D变形。
• Contacts: 头部和手部的每个顶点的接触信号。
• 2D key points: 通过MediaPipe和face_alignment获取的头部和手部的2D关键点。
• 2D bounding box: 头部和手部的边界框。
• Parameters: 多视角拟合结果，适用于FLAME头部模型和MANO手部模型。
• RGB Video: 工作室中捕获的多视角RGB录像。
• Segmentation mask: 使用Background Matting获得的对应RGB视频的前景掩码。
• camera parameters: 相机的内参、外参和畸变参数。
• CutID: 视频帧切割标识，用于排除无效帧。

下载信息

• 主数据集下载链接: DecafDataset.zip
• 预处理图像下载链接: 预处理图像数据

数据集使用

模型和文件配置

• 模型下载与放置:
  • 下载并放置"FLAME 2020"的"generic_model.pkl"于assets文件夹。
  • 下载并放置mano手部模型"mano_v1_2"于assets文件夹。
  • 获取并放置"landmark_embedding.npy"于assets文件夹。

可视化与数据处理脚本

• 数据集可视化:
  • 使用src/visualizer.py脚本进行数据集的可视化，支持2D和3D视图。
• 数据增强:
  • 使用src/flipping_data.py脚本进行数据翻转，以增强数据集。
• 图像掩码应用:
  • 使用src/get_masked_image.py脚本应用图像掩码。
• 连续数据ID获取:
  • 使用src/get_consecutive_ids.py脚本获取连续的数据ID。

许可证条款

• 本数据集仅供非商业用途使用。
• 禁止重新分发、销售或商业使用本数据集。
• 使用本数据集时，需引用相关出版物。

引用信息

• 使用本数据集时，请引用以下出版物：

  @article{ DecafTOG2023, author = {Shimada, Soshi and Golyanik, Vladislav and P{e}rez, Patrick and Theobalt, Christian}, title = {Decaf: Monocular Deformation Capture for Face and Hand Interactions}, journal = {ACM Transactions on Graphics (TOG)}, month = {dec}, volume = {42}, number = {6}, articleno = {264}, year = {2023}, publisher = {ACM} }

搜集汇总

数据集介绍

构建方式

Decaf数据集的构建基于多视角RGB视频捕捉技术，结合了FLAME头部模型和MANO手部模型的三维变形数据。研究团队在专业工作室环境下，通过多视角相机系统捕捉了头部与手部交互的高质量RGB视频，并利用MediaPipe和face_alignment工具提取了二维关键点。此外，数据集还包含了每帧的接触信号、分割掩码、相机参数以及视频剪辑标识符，确保了数据的完整性和精确性。

特点

Decaf数据集以其丰富的三维变形数据和精确的接触信号为显著特点。数据集不仅提供了每顶点的三维变形信息，还包含了头部与手部的接触信号，为研究面部与手部交互提供了详实的数据支持。此外，数据集还包含了多视角RGB视频、分割掩码和相机参数，使得研究者能够在多维度上进行分析与建模。数据集的多样性和高质量使其在计算机视觉和图形学领域具有广泛的应用潜力。

使用方法

使用Decaf数据集时，研究者需首先下载并解压数据集文件，随后配置Python环境并安装必要的依赖库，如PyTorch和PyTorch3D。数据集提供了可视化脚本，用户可以通过命令行参数指定数据集路径，并选择是否显示接触信号、三维或二维可视化结果。此外，数据集还支持数据增强操作，如翻转变形和接触信号，以及图像掩码生成。通过这些工具，研究者可以灵活地进行数据分析和模型训练，进一步推动面部与手部交互研究的发展。

背景与挑战

背景概述

Decaf数据集由Soshi Shimada、Vladislav Golyanik、Patrick Pérez和Christian Theobalt等研究人员于2023年发布，旨在解决单目相机下捕捉面部与手部交互时的三维形变问题。该数据集基于FLAME头部模型和MANO手部模型，提供了丰富的多视角RGB视频、三维形变数据、接触信号、二维关键点以及相机参数等信息。Decaf数据集的发布为计算机视觉和图形学领域的研究人员提供了宝贵的资源，尤其是在面部与手部交互的形变捕捉、姿态估计和动作分析等方面具有重要的应用价值。该数据集的研究成果发表于SIGGRAPH Asia 2023，进一步推动了单目形变捕捉技术的发展。

当前挑战

Decaf数据集在解决单目相机下捕捉面部与手部交互的三维形变问题时，面临诸多挑战。首先，单目相机捕捉的二维信息难以直接映射到三维空间，尤其是在复杂交互场景下，形变和遮挡问题使得三维重建的精度难以保证。其次，数据集构建过程中需要处理多视角视频的同步、相机参数的标定以及复杂背景下的前景分割等技术难题。此外，如何高效地标注和生成三维形变数据、接触信号以及关键点信息，也是数据集构建中的一大挑战。这些技术难题的解决不仅需要高精度的算法支持，还依赖于复杂的实验设备和数据处理流程。

常用场景

经典使用场景

Decaf数据集在计算机视觉和图形学领域中，主要用于单目摄像头下的面部和手部交互的三维形变捕捉。其经典使用场景包括通过多视角RGB视频记录，结合FLAME头部模型和MANO手部模型，精确捕捉面部和手部的三维形变和接触信号。这一数据集为研究者提供了丰富的多视角数据，支持从二维关键点到三维形变的全面分析。

解决学术问题

Decaf数据集解决了在单目摄像头下捕捉面部和手部交互时的三维形变难题。通过提供每顶点的三维形变数据、接触信号以及多视角拟合结果，该数据集为研究者提供了精确的形变捕捉工具，推动了面部和手部交互建模的研究进展。其意义在于为计算机视觉和图形学领域提供了高质量的数据支持，促进了相关算法的开发和优化。

衍生相关工作

Decaf数据集衍生了许多经典工作，特别是在面部和手部交互建模领域。基于该数据集的研究成果包括改进的三维形变捕捉算法、更精确的接触信号检测方法以及多视角数据融合技术。这些工作不仅推动了相关领域的技术进步，也为后续研究提供了宝贵的参考和基础。