AffordPose

AffordPose是一个大规模的手-物体交互数据集，包含由功能驱动的手势，用于理解和学习合理且适当的手-物体交互。数据集包含了26.7K个手-物体交互实例，每个实例包括3D物体形状、部分级功能标签和手动调整的手势。

AffordPose is a large-scale hand-object interaction dataset that contains function-driven gestures, designed for understanding and learning plausible and appropriate hand-object interactions. The dataset includes 26.7K hand-object interaction instances, each of which consists of 3D object shapes, part-level functional labels, and manually adjusted gestures.

原始信息汇总

AffordPose 数据集概述

数据集名称

AffordPose: A Large-scale Dataset of Hand-Object Interactions with Affordance-driven Hand Pose

数据集简介

AffordPose 是一个大规模的手-物体交互数据集，专注于基于功能性的手势。

数据集下载

数据集可以从 AffordPose 项目页面 下载。用户可以根据需要下载特定类别或全部数据。数据存储路径如下：

. └── AffordPose ├── bottle │ ├── 3415 │ │ ├── 3415_Twist │ │ │ ├── 1.json │ │ │ ├── ... │ │ │ └── 28.json │ │ │ │ │ └── 3415_Wrap-grasp │ │ ├── 1.json │ │ ├── ... │ │ └── 28.json | | | └── ... | └── ...

数据文件结构

数据文件 xxx.json 的结构如下：

. ├── xxx.json ├── rhand_mesh # 手部网格 ├── dofs # 手部关节配置 ├── rhand_trans # 手掌的平移 ├── rhand_quat # 手掌的旋转 ├── object_mesh # 物体网格，顶点带有功能标签 ├── trans_obj # 默认值：(0,0,0) ├── quat_obj # 默认值：(1,0,0,0) ├── afford_name # 交互对应的对象功能 └── class_name # 对象类别

数据可视化

• 手部网格和物体网格可以通过将 xxx.json 文件中的 "rhand_mesh" 和 "object_mesh" 保存为 .obj 文件，并在 MeshLab 中进行可视化。
• 手部模型基于 obman 数据集，使用了 MANO 手部模型和 GraspIt! 模拟器。

引用

如果 AffordPose 数据集对你的研究有帮助，请考虑引用：

@InProceedings{Jian_2023_ICCV, author = {Jian, Juntao and Liu, Xiuping and Li, Manyi and Hu, Ruizhen and Liu, Jian}, title = {AffordPose: A Large-Scale Dataset of Hand-Object Interactions with Affordance-Driven Hand Pose}, booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)}, month = {October}, year = {2023}, pages = {14713-14724} }

搜集汇总

数据集介绍

构建方式

AffordPose数据集的构建过程首先涉及对每个物体进行部分级别的功能标注，例如扭曲、拉动、握持等，以指示手-物体交互的目的和定位。然后，研究人员手动调整手的姿势以完成与这些功能相对应的交互任务。数据集收集了总共26.7K个手-物体交互，每个交互包括3D物体形状、部分级别的功能标签和手动调整的手姿势参数。

特点

AffordPose数据集的特点在于其精细的手-物体交互数据，这些数据揭示了手中心功能对手姿势详细排列的影响，同时也展示了手姿势的多样性。数据集支持同一物体上不同功能的不同交互，突出了与对应部分级别的功能相关的手姿势的独特性。此外，数据集还包含了对应于每个功能的接触频率和关节角度标准差等统计信息，为手-物体交互的学习提供了更精细的信息。

使用方法

AffordPose数据集可用于手-物体功能理解和面向功能的交互生成等任务。手-物体功能理解任务旨在从粗糙的手演示和目标物体中推断出相应的功能标签，以指导交互。面向功能的交互生成任务则是为了预测给定物体和功能标签的相应手-物体交互。此外，数据集还支持基于RGB的应用，例如手-物体交互分类和手网格恢复。

背景与挑战

背景概述

AffordPose 数据集的创建旨在解决人机交互领域中的一个关键问题：如何基于目标物体的功能角色进行手部与物体的交互。该数据集由大连理工大学、山东大学、深圳大学和清华大学的学者共同构建，于 2023 年 9 月 16 日发布。AffordPose 数据集的核心研究问题是如何通过细粒度的手部与物体的交互数据来学习和理解合理和适当的手部与物体的交互。该数据集对相关领域的影响力在于，它为手部与物体交互的学习和理解提供了大量的数据支持，有助于提高手部与物体交互的准确性和可信度。

当前挑战

AffordPose 数据集面临的挑战包括：1) 如何收集大量的手部与物体交互数据，以便于学习和理解手部与物体的交互；2) 如何构建一个能够反映手部与物体交互的细粒度数据集，以便于进行手部与物体交互的预测和生成。

常用场景

经典使用场景

AffordPose 数据集是一个大规模的手-物体交互数据集，其中包含细粒度的手部姿势，这些姿势由特定的部分级别的功能标签驱动。该数据集的经典使用场景包括手部姿势估计、抓握合成和手-物体交互生成等。研究人员可以利用 AffordPose 数据集来训练深度学习模型，以预测和生成不同的手-物体交互。

解决学术问题

AffordPose 数据集解决了手-物体交互中功能感知的问题。通过收集大量的手-物体交互数据，并标注每个物体的特定部分级别的功能标签，该数据集可以帮助研究人员更好地理解和预测手-物体交互的细节。此外，AffordPose 数据集还支持对同一物体上不同功能标签的交互，从而展示出手部姿势的独特性。该数据集在学术研究中的意义和影响在于，它为研究人员提供了一个用于学习和理解手-物体交互的宝贵资源，并推动了相关领域的发展。

衍生相关工作

AffordPose 数据集衍生了许多相关的经典工作。例如，ContactGrasp 数据集和 ContactPose 数据集要求标注人员指定每个物体的接触图，然后通过模拟器优化手部姿势。这些数据集收集了自然和真实的手部姿势，对于手-物体交互生成的学习和理解非常重要。此外，AffordPose 数据集还支持 RGB 基础的应用，例如手-物体交互分类和手部网格恢复等。这些相关工作进一步推动了手-物体交互领域的发展，并为相关研究和应用提供了宝贵的资源。