Google-Open-Images-Mutual-Gaze-dataset

该数据集包含带有注释的图像，这些注释指定了照片中的两个面孔是否相互对视。此数据集旨在帮助研究与社交行为、视觉注意力等相关主题的研究人员。

This dataset comprises annotated images, where the annotations specify whether two faces in the photographs are making eye contact with each other. It is designed to assist researchers in studying topics related to social behavior, visual attention, and related areas.

原始信息汇总

Google-Open-Images-Mutual-Gaze-dataset 概述

数据集内容

• 格式：CSV文件
• 样本结构：每行对应一个数据样本，包含图像ID/URL和两个面部边界框（左上角和右下角坐标），以及一个布尔型注释，指示两个面部是否相互注视。
• 字段详情：
  • ImageID (字符串): 图像ID，可用于从OpenImageV4下载图像。
  • ImageUrl (字符串): 图像URL。
  • Annotation (布尔型): 注释，1表示两个面部相互注视，0表示不相互注视。
  • XminBoxA, YminBoxA, XmaxBoxA, YmaxBoxA (浮点数): 面部A的边界框坐标，归一化处理。
  • XminBoxB, YminBoxB, XmaxBoxB, YmaxBoxB (浮点数): 面部B的边界框坐标，归一化处理。

数据集统计

• 训练集：26410个样本，文件名为train_data.csv。
• 测试集：6659个样本，文件名为test_data。

许可证

• 类型：Creative Commons Attribution 4.0 International License (CC BY 4.0)

联系方式

• Ching-Hui Chen ([e-mail])
• Raviteja Vemulapalli ([e-mail])
• Yukun Zhu ([e-mail])

搜集汇总

数据集介绍

构建方式

Google-Open-Images-Mutual-Gaze-dataset的构建基于OpenImagesV4数据集，通过人工标注的方式对图像中的两个人脸是否相互注视进行标记。数据集以CSV文件形式发布，每条记录包含图像的ID、URL以及两个人脸的边界框坐标。边界框的坐标经过归一化处理，确保其在不同分辨率的图像中具有一致性。数据集的划分包括训练集和测试集，分别包含26410和6659个样本。

特点

该数据集的核心特点在于其专注于人与人之间的视觉交互行为，特别是相互注视的检测。每条数据样本均包含两个人脸的边界框坐标及其是否相互注视的布尔标注。这种标注方式为研究者提供了丰富的视觉信息，能够有效支持社交行为、视觉注意力等相关领域的研究。此外，数据集的图像来源于OpenImagesV4，确保了数据的多样性和广泛性。

使用方法

使用该数据集时，研究者可通过CSV文件中的ImageID从OpenImagesV4下载原始图像，并结合提供的边界框坐标和注视标注进行模型训练或测试。数据集的标注信息可直接用于监督学习任务，例如训练深度学习模型以检测图像中的人脸是否相互注视。由于数据集的划分明确，研究者可轻松进行模型的训练与验证。

背景与挑战

背景概述

Google-Open-Images-Mutual-Gaze-dataset是由Google的研究团队创建的一个专注于社交行为和视觉注意力的数据集。该数据集发布于Open Images V4平台上，旨在通过提供包含人脸互视标注的图像，帮助研究人员深入探讨人类社交互动中的视觉注意力机制。数据集的核心研究问题在于如何通过计算机视觉技术准确识别图像中两个人是否在互相对视，这一研究对社交机器人、人机交互等领域具有重要的应用价值。Google的智能摄影团队在数据收集过程中提供了支持与建议，确保了数据的高质量和多样性。

当前挑战

Google-Open-Images-Mutual-Gaze-dataset在解决图像中人物互视识别问题时面临多重挑战。首先，准确判断两个人是否在互相对视需要模型具备对细微视觉线索的捕捉能力，例如眼神方向和面部姿态的精确分析。其次，数据集的构建过程中，标注的准确性至关重要，但由于人类视觉行为的复杂性和多样性，人工标注可能存在主观偏差。此外，图像中可能存在遮挡、光照变化以及不同角度的人脸，这些因素进一步增加了数据处理的难度。如何在这些复杂场景下保持模型的鲁棒性和泛化能力，是该数据集应用中的核心挑战。

常用场景

经典使用场景

Google-Open-Images-Mutual-Gaze-dataset 数据集在社交行为分析和视觉注意力研究领域具有重要应用。通过提供包含人脸互视标注的图像数据，该数据集为研究者提供了一个丰富的资源，用于训练和验证模型，以识别和理解人类互动中的视觉注意力模式。

解决学术问题

该数据集解决了社交行为研究中关于视觉注意力分配的关键问题。通过标注图像中两个人是否互视，研究者可以深入探讨人类互动中的非语言交流机制，进而推动社交心理学、计算机视觉等领域的发展。

衍生相关工作

基于该数据集，研究者们已经开发了多种先进的计算机视觉模型，用于检测和分析人类互视行为。这些模型不仅提升了互视检测的准确性，还为社交行为分析、情感计算等领域提供了新的研究工具和方法。