ChildPlay

一个用于理解儿童目光行为的新基准数据集

A novel benchmark dataset for understanding children’s gaze behavior

原始信息汇总

数据集概述

数据集名称

ChildPlay: A New Benchmark for Understanding Childrens Gaze Behaviour

数据集简介

该数据集用于理解和评估儿童注视行为，提供了一个新的基准。数据集包含了用于训练和评估GeomGaze模型的代码、检查点、注释和脚本。

数据集包含

• GeomGaze模型：构建场景的几何一致点云，并与预测的3D注视向量匹配计算3D视场（3DFoV），突出显示3D中的可见区域。
• 注释和脚本：用于评估注视性能的新颖语义指标。

数据下载

• GazeFollow extended: 下载链接
• VideoAttentionTarget: 下载链接
• ChildPlay: 下载链接
• 处理后的数据: 下载链接

数据集使用

• 训练: 支持在GazeFollow、VideoAttentionTarget和ChildPlay数据集上训练。
• 测试: 提供了AUC、距离、内外AP指标的计算方法，以及LAH指标的脚本。

预训练模型

• Human-centric module: human_centric.pt
• GazeFollow pre-trained: geomgaze_gazefollow.pt
• VideoAttentionTarget pre-trained: geomgaze_vat.pt
• ChildPlay pre-trained: geomgaze_childplay.pt

引用

bibtex @InProceedings{Tafasca_2023_ICCV, author = {Tafasca*, Samy and Gupta*, Anshul and Odobez, Jean-Marc}, title = {ChildPlay: A New Benchmark for Understanding Childrens Gaze Behaviour}, booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)}, month = {October}, year = {2023}, pages = {20935-20946}, note = {* Equal contribution} }

搜集汇总

数据集介绍

构建方式

ChildPlay数据集旨在理解儿童视线行为，其构建方式是通过采集儿童观看视频时的视线数据，并利用三星实验室的深度估计模型以及AdelaiDepth模型提取场景的深度图和焦距信息，进而构建出一个几何一致的场景点云。该点云与预测的3D视线矢量相匹配，计算出3D视场，从而在三维空间中突出可见区域，并与场景图像结合预测最终的视线目标。

使用方法

使用ChildPlay数据集首先需要下载并配置相关数据集和预处理数据，包括GazeFollow extended、VideoAttentionTarget和ChildPlay本身的数据。之后，用户需要设置conda环境，并根据需要训练或测试模型。训练时，可以分别在不同的数据集上训练，并提供初始权重。测试时，可以通过提供的脚本计算AUC、距离、内外AP等指标，以及LAH度量标准。数据集的使用方法详细说明在官方的GitHub仓库中。

背景与挑战

背景概述

ChildPlay数据集，由Samy Tafasca、Anshul Gupta和Jean-Marc Odobez等于ICCV 2023年提出，旨在为理解儿童视线行为提供一个新的基准。该数据集由IDIAP研究所提供，通过构建一个几何一致的场景点云，与预测的3D视线矢量相匹配，计算3D视场（3DFoV），从而突出显示3D中的可见区域。此方法为儿童视线行为的分析和理解提供了新的视角，对儿童心理学、人机交互和计算机视觉等领域具有潜在的重要影响。

当前挑战

ChildPlay数据集在构建过程中面临的挑战主要包括：1) 如何精确捕捉并量化儿童的视线行为，尤其是在动态场景中；2) 构建一个能够准确反映儿童视线行为的3D视场模型，需要解决的技术难题包括场景深度图的提取、焦距的估计以及点云与视线矢量的匹配问题；3) 评价标准的确立，需要开发新的语义度量方法来评估视线预测的性能。

常用场景

经典使用场景

ChildPlay数据集作为儿童视觉注意行为理解的新基准，其经典使用场景在于构建和评估针对儿童头部注视行为的几何一致点云模型。该模型通过预测三维视场（3D Field-of-View，3DFoV），结合场景图像，以预测最终的注视目标，为研究儿童注视行为提供了一种新的视角和方法。

解决学术问题

该数据集解决了儿童注视行为分析中缺乏专门针对头部注视的评估指标和基准数据的问题，提供了定量的评估标准，如AUC、距离、内外AP指标，以及LAH指标，从而促进了儿童视觉注意研究领域的发展，提高了相关算法的性能评估的准确性和可靠性。

实际应用

在实际应用中，ChildPlay数据集可用于开发儿童行为监测系统，辅助教育软件的设计，以及儿童交互式学习应用的开发，为儿童心理学研究、特殊教育干预和智能玩具设计等领域提供了数据支撑。

数据集最近研究

最新研究方向

ChildPlay数据集作为儿童视线行为理解的新基准，旨在推动视线预测领域的发展。该数据集结合了几何一致性的点云构建与3D视场计算，通过引入语义度量标准，为评估视线性能提供了新的视角。近期研究集中于利用ChildPlay数据集优化视线预测模型，特别是在三维空间中对于头部注视目标的准确性提升，为儿童行为分析、人机交互等领域提供了重要支持。