FORCE

FORCE数据集是由图宾根大学与图宾根人工智能中心等机构合作创建的，专注于捕捉和模拟人类与物体交互中的物理属性。该数据集包含450个动作序列，总计192,000帧，涵盖了推、拉和携带等多种交互动作，每帧都提供了高质量的人体和物体姿态。数据集通过结合4Kinect RGB-D相机和17个惯性测量单元（IMUs）进行数据采集，确保了动作捕捉的精确性。FORCE数据集不仅支持多样化的动作风格和不同级别的阻力模拟，还通过新颖的直观物理编码方法，增强了模型的物理交互真实感。该数据集的应用领域广泛，包括增强现实/虚拟现实、游戏开发以及人机交互等，旨在解决现有模型在处理复杂物理交互时的局限性。The FORCE dataset was collaboratively developed by the University of Tübingen, Tübingen AI Center, and other institutions, focusing on capturing and simulating physical properties during human-object interactions. This dataset includes 450 motion sequences, totaling 192,000 frames, covering a variety of interactive actions such as pushing, pulling, and carrying, with high-quality human and object poses provided for every frame. Data collection was conducted using a combination of 4 Kinect RGB-D cameras and 17 inertial measurement units (IMUs), which ensures the precision of motion capture. The FORCE dataset not only supports diverse motion styles and resistance simulations at different levels, but also enhances the realism of physical interactions for models through a novel and intuitive physical encoding method. This dataset has broad application scenarios including augmented reality/virtual reality, game development, human-computer interaction, and others, aiming to address the limitations of existing models when dealing with complex physical interactions.

搜集汇总

数据集介绍

构建方式

FORCE数据集的构建方式体现了对人类与物体互动中物理属性的深入理解。该数据集通过捕捉人类在推动、拉动和搬运物体时，不同阻力级别下的运动细微差别，为模型训练提供了宝贵的数据资源。数据采集过程中，研究人员利用了定制的混合追踪器，该追踪器由4台Kinect RGB-D相机和17个惯性测量单元(IMU)组成，以确保捕捉到高质量的人类和物体姿势。为了增强数据集的泛化能力，研究人员还对每个运动序列进行了物体形状的增强，使用ShapeNet中的不同形状物体对原始序列进行了替换。这种数据增强方法使得模型能够更好地适应未见过的物体形状，并生成更具多样性的交互运动。

特点

FORCE数据集的特点在于其捕捉了人类与物体互动中物理属性的细微差别，并通过不同阻力级别下的运动数据展示了人类适应力的多样性。数据集包含了450个运动序列，涵盖了推动、拉动和搬运三种互动方式，每种方式下物体都有3-6个不同阻力级别。此外，数据集还记录了不同接触模式，包括单手和双手。这些特点使得FORCE数据集成为评估和训练人类-物体互动模型的重要基准。

使用方法

FORCE数据集的使用方法相对简单。首先，研究人员需要将数据集下载到本地服务器，并解压。然后，他们可以使用提供的代码和模型来训练和评估自己的模型。数据集的每个运动序列都包含了高质量的人类和物体姿势数据，方便研究人员进行进一步的分析和建模。此外，数据集还提供了详细的文档和说明，帮助研究人员更好地理解数据集的结构和使用方法。

背景与挑战

背景概述

FORCE 数据集旨在解决当前合成人类与物体交互运动时忽略物理属性的问题。该数据集由德国图宾根大学、图宾根人工智能中心、Meta Reality Labs 研究和华为 Noah's Ark 实验室于 2024 年 3 月 17 日创建。主要研究人员包括 Xiaohan Zhang、Bharat Lal Bhatnagar、Sebastian Starke、Ilya Petrov、Vladimir Guzov、Helisa Dhamo、Eduardo P ́erez-Pellitero 和 Gerard Pons-Moll。该数据集的核心研究问题是生成具有细微差异的人类运动，这需要从多模态的人类和物体信息中学习，包括物理和非物理属性。FORCE 数据集对相关领域的影响力在于它填补了现有数据集在捕捉具有不同物理属性的物体与人类交互的细微差异方面的空白。

当前挑战

FORCE 数据集相关的挑战主要包括：1) 从多模态的人类和物体信息中学习，包括不同的动作、物体姿态和关键的物理属性，这是一个复杂的任务，需要解决类似人类姿态的歧义问题，以生成多样化和具有细微差异的运动。2) 确定交互的可行性时，阻力不是唯一因素，还取决于人类如何与物体交互。例如，人类可以用双手更有效地携带重物，而不是用一只手。3) 现有的数据集没有捕捉到在变化物理条件下多样化的日常交互。缺乏此类数据阻碍了模型的发展和评估。4) 收集此类数据时，会面临物体遮挡、噪声等问题，需要改进现有的深度相机捕捉系统。

常用场景

经典使用场景

FORCE 数据集主要用于研究人类与物体交互的物理属性，例如阻力、摩擦力和人类施加的力。该数据集包含450个动作序列，涵盖了推动、拉动和携带物体的日常交互，并提供高分辨率的人类和物体姿态。这使得 FORCE 数据集成为研究人类-物体交互动力学、运动合成和物理属性建模的理想选择。

衍生相关工作

FORCE 数据集的发布推动了相关研究的发展，例如基于物理的运动合成、人类-物体交互动力学和直观物理学习。该数据集已被用于训练和评估各种模型，例如 FORCE 模型、NSM 模型和 SAMP 模型。这些模型在合成具有物理属性的人类运动方面取得了显著的成果，并为未来的研究提供了新的思路和方向。

数据集最近研究

最新研究方向

FORCE数据集的最新研究方向集中于利用直观物理建模来合成具有细微差别的交互动作。该数据集通过捕捉不同阻力下的人类与物体交互，为训练和评估基于运动学的模型提供了宝贵资源。此外，FORCE模型通过建模物理属性，如阻力和施加的人的力量，实现了对交互动作的细粒度控制。这种方法的成功之处在于其直观物理编码，它能够捕捉到动态的人力和物体阻力的相互作用，从而生成多样化的交互动作。FORCE数据集的发布为动画、游戏、虚拟现实和人类计算机交互等领域的研究提供了新的可能性。

相关研究论文

• FORCE: Dataset and Method for Intuitive Physics Guided Human-object Interaction

  图宾根大学与图宾根人工智能中心 · 2024年