Intentonomy
收藏资源简介：
Intentonomy是由康奈尔大学和Facebook AI合作创建的一个包含14,455张图像的数据集，旨在理解和分析社交媒体图像背后的人类意图。这些图像覆盖了日常生活的广泛场景，并根据社会心理学分类法手动标注了28种意图类别。数据集通过一种新颖的标注游戏收集标签，旨在捕捉人类的心理意象。Intentonomy数据集的应用领域包括识别假新闻和社交媒体上的误导信息，以及改善计算机视觉系统对人类意图的理解。
Intentonomy is a dataset consisting of 14,455 images, co-developed by Cornell University and Facebook AI, with the goal of understanding and analyzing human intentions behind social media images. These images cover a broad spectrum of daily life scenarios, and have been manually annotated with 28 intention categories based on a social psychology taxonomy. The dataset collects annotations through a novel annotation game designed to capture human mental imagery. Application scenarios of the Intentonomy dataset include detecting fake news and misinformation on social media, as well as improving computer vision systems' understanding of human intentions.
Intentonomy 数据集概述
数据集介绍
数据集下载
- 名称：Intentonomy
- 内容：包含14K张图像，手动标注了28个意图类别，由心理学专家组织成层次结构。
- 下载方式：参见DATA.md。
标注方法
- 方法：采用“目的游戏”方法，通过Amazon Mechanical Turks获取意图标注。
- 详细说明：参见论文附录C。
研究内容
图像内容与人类意图的关系
- 研究目的：探讨视觉内容与意图之间的微妙联系。
- 研究结果：
- 不同意图类别依赖不同的对象和场景进行识别。
- 对于某些具有较大类内变化的类别，视觉内容对性能提升有限。
- 关注相关对象和场景类别对意图识别有积极影响。
意图识别基线
- 框架：引入弱监督定位和辅助标签模式，缩小人与机器对图像理解的差距。
- 实现：提供
loc_loss.py中的定位损失实现，需下载图像掩码并更新MASK_ROOT。 - 依赖库：需要
cv2和pycocotools。
意图类别细分
- 细分依据：
- 内容依赖：对象依赖（O-classes）、上下文依赖（C-classes）和其他。
- 难度：根据视觉识别与随机结果的差距分为“简单”、“中等”和“困难”。
- 详细说明：参见论文附录A。
基线结果
-
验证集结果：
模型 Macro F1 Micro F1 Samples F1 VISUAL 23.03 $pm$ 0.79 31.36 $pm$ 1.16 29.91 $pm$ 1.73 VISUAL + $L_{loc}$ 24.42 $pm$ 0.95 32.87 $pm$ 1.13 32.46 $pm$ 1.18 VISUAL + $L_{loc}$ + HT 25.07 $pm$ 0.52 32.94 $pm$ 1.16 33.61 $pm$ 0.92 -
测试集结果：
模型 Macro F1 Micro F1 Samples F1 VISUAL 22.77 $pm$ 0.59 30.23 $pm$ 0.73 28.45 $pm$ 1.71 VISUAL + $L_{loc}$ 24.37 $pm$ 0.65 32.07 $pm$ 0.84 30.91 $pm$ 1.27 VISUAL + $L_{loc}$ + HT 23.98 $pm$ 0.85 31.28 $pm$ 0.36 31.39 $pm$ 0.78 -
验证集细分结果：
-
按内容依赖：
模型 对象 上下文 其他 VISUAL 25.58 $pm$ 2.51 30.16 $pm$ 2.97 21.34 $pm$ 0.74 VISUAL + $L_{loc}$ 28.15 $pm$ 1.94 28.62 $pm$ 2.13 22.60 $pm$ 1.40 VISUAL + $L_{loc}$ + HT 29.66 $pm$ 2.19 32.48 $pm$ 1.34 22.61 $pm$ 0.48 -
按难度：
模型 简单 中等 困难 VISUAL 54.64 $pm$ 2.54 24.92 $pm$ 1.18 10.71 $pm$ 1.33 VISUAL + $L_{loc}$ 57.10 $pm$ 1.84 25.68 $pm$ 1.24 12.72 $pm$ 2.31 VISUAL + $L_{loc}$ + HT 58.86 $pm$ 2.56 26.30 $pm$ 1.42 13.11 $pm$ 2.15
-
引用
tex @inproceedings{jia2021intentonomy, title={Intentonomy: a Dataset and Study towards Human Intent Understanding}, author={Jia, Menglin and Wu, Zuxuan and Reiter, Austin and Cardie, Claire and Belongie, Serge and Lim, Ser-Nam}, booktitle={CVPR}, year={2021} }
- 1Intentonomy: a Dataset and Study towards Human Intent Understanding康奈尔大学 · 2021年
