five

FORCE|物理交互模拟数据集|人机交互数据集

收藏
arXiv2024-03-17 更新2024-06-21 收录
物理交互模拟
人机交互
下载链接:
https://virtualhumans.mpi-inf.mpg.de/force/
下载链接
链接失效反馈
资源简介:
FORCE数据集是由图宾根大学与图宾根人工智能中心等机构合作创建的,专注于捕捉和模拟人类与物体交互中的物理属性。该数据集包含450个动作序列,总计192,000帧,涵盖了推、拉和携带等多种交互动作,每帧都提供了高质量的人体和物体姿态。数据集通过结合4Kinect RGB-D相机和17个惯性测量单元(IMUs)进行数据采集,确保了动作捕捉的精确性。FORCE数据集不仅支持多样化的动作风格和不同级别的阻力模拟,还通过新颖的直观物理编码方法,增强了模型的物理交互真实感。该数据集的应用领域广泛,包括增强现实/虚拟现实、游戏开发以及人机交互等,旨在解决现有模型在处理复杂物理交互时的局限性。
提供机构:
图宾根大学与图宾根人工智能中心
创建时间:
2024-03-17
AI搜集汇总
数据集介绍
main_image_url
构建方式
FORCE数据集的构建方式体现了对人类与物体互动中物理属性的深入理解。该数据集通过捕捉人类在推动、拉动和搬运物体时,不同阻力级别下的运动细微差别,为模型训练提供了宝贵的数据资源。数据采集过程中,研究人员利用了定制的混合追踪器,该追踪器由4台Kinect RGB-D相机和17个惯性测量单元(IMU)组成,以确保捕捉到高质量的人类和物体姿势。为了增强数据集的泛化能力,研究人员还对每个运动序列进行了物体形状的增强,使用ShapeNet中的不同形状物体对原始序列进行了替换。这种数据增强方法使得模型能够更好地适应未见过的物体形状,并生成更具多样性的交互运动。
特点
FORCE数据集的特点在于其捕捉了人类与物体互动中物理属性的细微差别,并通过不同阻力级别下的运动数据展示了人类适应力的多样性。数据集包含了450个运动序列,涵盖了推动、拉动和搬运三种互动方式,每种方式下物体都有3-6个不同阻力级别。此外,数据集还记录了不同接触模式,包括单手和双手。这些特点使得FORCE数据集成为评估和训练人类-物体互动模型的重要基准。
使用方法
FORCE数据集的使用方法相对简单。首先,研究人员需要将数据集下载到本地服务器,并解压。然后,他们可以使用提供的代码和模型来训练和评估自己的模型。数据集的每个运动序列都包含了高质量的人类和物体姿势数据,方便研究人员进行进一步的分析和建模。此外,数据集还提供了详细的文档和说明,帮助研究人员更好地理解数据集的结构和使用方法。
背景与挑战
背景概述
FORCE 数据集旨在解决当前合成人类与物体交互运动时忽略物理属性的问题。该数据集由德国图宾根大学、图宾根人工智能中心、Meta Reality Labs 研究和华为 Noah's Ark 实验室于 2024 年 3 月 17 日创建。主要研究人员包括 Xiaohan Zhang、Bharat Lal Bhatnagar、Sebastian Starke、Ilya Petrov、Vladimir Guzov、Helisa Dhamo、Eduardo P ́erez-Pellitero 和 Gerard Pons-Moll。该数据集的核心研究问题是生成具有细微差异的人类运动,这需要从多模态的人类和物体信息中学习,包括物理和非物理属性。FORCE 数据集对相关领域的影响力在于它填补了现有数据集在捕捉具有不同物理属性的物体与人类交互的细微差异方面的空白。
当前挑战
FORCE 数据集相关的挑战主要包括:1) 从多模态的人类和物体信息中学习,包括不同的动作、物体姿态和关键的物理属性,这是一个复杂的任务,需要解决类似人类姿态的歧义问题,以生成多样化和具有细微差异的运动。2) 确定交互的可行性时,阻力不是唯一因素,还取决于人类如何与物体交互。例如,人类可以用双手更有效地携带重物,而不是用一只手。3) 现有的数据集没有捕捉到在变化物理条件下多样化的日常交互。缺乏此类数据阻碍了模型的发展和评估。4) 收集此类数据时,会面临物体遮挡、噪声等问题,需要改进现有的深度相机捕捉系统。
常用场景
经典使用场景
FORCE 数据集主要用于研究人类与物体交互的物理属性,例如阻力、摩擦力和人类施加的力。该数据集包含450个动作序列,涵盖了推动、拉动和携带物体的日常交互,并提供高分辨率的人类和物体姿态。这使得 FORCE 数据集成为研究人类-物体交互动力学、运动合成和物理属性建模的理想选择。
衍生相关工作
FORCE 数据集的发布推动了相关研究的发展,例如基于物理的运动合成、人类-物体交互动力学和直观物理学习。该数据集已被用于训练和评估各种模型,例如 FORCE 模型、NSM 模型和 SAMP 模型。这些模型在合成具有物理属性的人类运动方面取得了显著的成果,并为未来的研究提供了新的思路和方向。
数据集最近研究
最新研究方向
FORCE数据集的最新研究方向集中于利用直观物理建模来合成具有细微差别的交互动作。该数据集通过捕捉不同阻力下的人类与物体交互,为训练和评估基于运动学的模型提供了宝贵资源。此外,FORCE模型通过建模物理属性,如阻力和施加的人的力量,实现了对交互动作的细粒度控制。这种方法的成功之处在于其直观物理编码,它能够捕捉到动态的人力和物体阻力的相互作用,从而生成多样化的交互动作。FORCE数据集的发布为动画、游戏、虚拟现实和人类计算机交互等领域的研究提供了新的可能性。
相关研究论文
  • 1
    FORCE: Dataset and Method for Intuitive Physics Guided Human-object Interaction图宾根大学与图宾根人工智能中心 · 2024年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4099个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

Pubmed

Pubmed 数据集包含来自 PubMed 数据库的 19717 篇与糖尿病相关的科学出版物,分为三类之一。引文网络由 44338 个链接组成。数据集中的每个出版物都由字典中的 TF/IDF 加权词向量描述,该字典由 500 个唯一词组成。

OpenDataLab 收录

马达加斯加岛 – 世界地理数据大百科辞条

马达加斯加岛在非洲的东南部,位于11o56′59″S - 25o36′25″S及43o11′18″E - 50o29′36″E之间。通过莫桑比克海峡与位于非洲大陆的莫桑比克相望,最近距离为415千米。临近的岛屿分别为西北部的科摩罗群岛、北部的塞舌尔群岛、东部的毛里求斯岛和留尼汪岛等。在google earth 2015年遥感影像基础上研发的马达加斯加海岸线数据集表明,马达加斯加岛面积591,128.68平方千米,其中马达加斯加本岛面积589,015.06平方千米,周边小岛面积为2,113.62平方千米。马达加斯加本岛是非洲第一大岛,是仅次于格陵兰、新几内亚岛和加里曼丹岛的世界第四大岛屿。岛的形状呈南北走向狭长纺锤形,南北向长1,572千米;南北窄,中部宽,最宽处达574千米。海岸线总长16,309.27千米, 其中马达加斯加本岛海岸线长10,899.03千米,周边小岛海岸线长5,410.24千米。马达加斯加岛属于马达加斯加共和国。全国共划分22个区,119个县。22个区分别为:阿那拉芒加区,第亚那区,上马齐亚特拉区,博爱尼区,阿齐那那那区,阿齐莫-安德列发那区,萨瓦区,伊达西区,法基南卡拉塔区,邦古拉法区,索非亚区,贝齐博卡区,梅拉基区,阿拉奥特拉-曼古罗区,阿那拉兰基罗富区,阿莫罗尼马尼亚区,法土法韦-非图韦那尼区,阿齐莫-阿齐那那那区,伊霍罗贝区,美那贝区,安德罗伊区和阿诺西区。首都安塔那那利佛(Antananarivo)位于岛屿的中东部。马达加斯加岛是由火山及喀斯特地貌为主。贯穿海岛的是巨大火山岩山体-察腊塔纳山,其主峰马鲁穆库特鲁山(Maromokotro)海拔2,876米,是全国最高峰。马达加斯加自然景观垂直地带性分异显著,是热带雨林和热带草原广布的地区。岛上大约有20多万种动植物,其中包括马达加斯加特有物种狐猴(Lemur catta)、马达加斯加国树猴面包树(Adansonia digitata L.)等。

国家对地观测科学数据中心 收录

flames-and-smoke-datasets

该仓库总结了多个公开的火焰和烟雾数据集,包括DFS、D-Fire dataset、FASDD、FLAME、BoWFire、VisiFire、fire-smoke-detect-yolov4、Forest Fire等数据集。每个数据集都有详细的描述,包括数据来源、图像数量、标注信息等。

github 收录

CACD

跨年龄名人数据集是用于跨年龄人脸识别和检索的数据集。它包含 2,000 位名人的 163,446 张图像。该数据集于 2014 年由马里兰大学计算机科学系发表,论文名为 cross-age Reference Coding for Age-invariant Face Recognition and Retrieval。

OpenDataLab 收录

中国区域交通网络数据集

该数据集包含中国各区域的交通网络信息,包括道路、铁路、航空和水路等多种交通方式的网络结构和连接关系。数据集详细记录了各交通节点的位置、交通线路的类型、长度、容量以及相关的交通流量信息。

data.stats.gov.cn 收录