ChildPlay

ChildPlay数据集是由瑞士Idiap研究所创建的，专注于儿童与成人互动中的凝视行为。该数据集包含401个短视频片段，记录了儿童在不受控制的环境中（如幼儿园、治疗中心、学前班等）与成人互动的情况，并附有丰富的凝视信息标注。数据集旨在解决现有凝视目标预测基准主要包含成人实例，导致模型在儿童场景中应用效果不佳的问题。此外，ChildPlay数据集还用于开发和评估新的凝视目标预测模型，该模型利用几何保持的深度推断方法，明确识别场景中的3D视野（3DFoV）部分，以提高预测准确性。

The ChildPlay dataset was created by Idiap Research Institute in Switzerland, focusing on gaze behaviors during interactions between children and adults. This dataset consists of 401 short video clips, which record interactions between children and adults in uncontrolled environments such as kindergartens, therapy centers, preschools, etc., and are accompanied by rich gaze annotation information. This dataset aims to address the issue that existing gaze target prediction benchmarks are mostly composed of adult instances, resulting in poor performance of models when applied in child-centric scenarios. In addition, the ChildPlay dataset is also utilized to develop and evaluate novel gaze target prediction models that adopt geometry-preserving depth inference methods to explicitly identify the 3D Field of View (3DFoV) regions in the scene, so as to enhance prediction accuracy.

搜集汇总

数据集介绍

构建方式

在儿童发育障碍诊断领域，注视行为如眼神接触或共享注意力是重要的评估指标。为填补现有数据集中儿童注视行为研究的空白，ChildPlay数据集通过精心筛选YouTube平台上的公开视频构建而成。研究团队采用特定查询词（如“儿童玩耍玩具”、“托儿中心”）检索符合要求的视频，并严格筛选出401个高质量短片，确保视频分辨率为720p或1080p、无场景剪切或过度模糊。这些短片捕捉了儿童在幼儿园、治疗中心等非受控环境中的自由游戏和社交互动场景，涵盖了从幼儿到青少年的不同年龄段。数据标注方面，团队对每段视频中至多三人进行了密集注视信息标注，包括头部边界框、二维注视点及七类注视标签，以处理复杂场景下的注释挑战，最终形成了包含约25.8万条注释实例的丰富数据集。

特点

ChildPlay数据集在注视行为研究领域展现出独特价值，其核心特点在于专注于儿童与成人互动场景，突破了以往数据集中成人主导的局限。该数据集收录了多样化的室内环境视频，呈现儿童在自然状态下的游戏行为，并包含丰富的社交手势和自发注视转移。标注体系引入了精细的注视类别（如注视转移、遮挡、不确定等），能够更准确地反映真实世界中的复杂注视模式。与现有基准数据集相比，ChildPlay在注视目标语义分布上更为均衡，减少了面向人脸的偏差，同时提供了更丰富的场景多样性和时间上下文信息。特别值得注意的是，数据统计分析揭示了儿童与成人在注视角度和目标距离上的系统性差异，为跨年龄注视行为比较研究提供了重要基础。

使用方法

该数据集适用于注视目标预测模型的训练与评估，尤其在儿童相关应用场景中具有重要价值。研究人员可采用标准流程加载视频片段及对应标注文件，利用提供的头部边界框、注视点和分类标签构建训练样本。数据集支持基于几何约束的注视预测方法，通过结合三维视场建模提升预测精度。在实际应用中，可先使用GazeFollow等通用数据集进行预训练，再在ChildPlay上进行微调，以改善模型对儿童注视行为的适应性。评估时除常规指标（AUC、距离误差）外，建议采用面向头部的注视精度（P.Head）等语义指标，以更全面评估模型在儿童社交互动场景中的表现。数据集还可用于跨年龄注视行为比较、发育障碍辅助分析等研究方向。

背景与挑战

背景概述

在儿童发展心理学与计算机视觉的交叉领域，注视行为作为非语言交流的核心要素，是评估儿童认知发展及诊断自闭症谱系障碍等神经发育疾病的重要生物标记。长期以来，相关研究受限于私有数据集和受控实验室环境，缺乏公开、自然的儿童注视数据。为此，瑞士Idiap研究所与洛桑联邦理工学院的研究团队于2023年联合创建了ChildPlay数据集。该数据集聚焦于儿童与成人在非受控环境（如幼儿园、治疗中心）中的自由游戏互动，旨在解决儿童注视目标预测这一核心研究问题。通过提供高质量、密集的注视注释，ChildPlay填补了公共数据集中儿童样本严重不足的空白，为发展性障碍的客观筛查、人机交互优化及儿童行为分析提供了关键数据支撑，推动了相关领域从实验室向真实场景的范式转移。

当前挑战

ChildPlay数据集致力于应对两大核心挑战。其一，在领域问题层面，旨在攻克儿童注视目标预测的难题。与成人相比，儿童的头身比例、行为模式（如更多低头玩玩具）及注视目标语义分布存在显著差异，导致基于成人数据训练的模型在儿童场景下性能急剧下降，尤其在预测‘注视人脸’等关键语义行为时表现不佳。其二，在数据构建过程中，面临多重挑战：数据采集需在保护隐私的前提下，从如YouTube等公开资源中筛选出高质量、多样化的儿童自然互动视频；注释工作则需在复杂动态场景中，对快速移动、部分遮挡的注视点进行精确、语义一致的标注，为此团队创新性地引入了七种注视状态分类以处理视线转移、不确定目标等特殊情形，确保了注释的可靠性与丰富性。

常用场景

经典使用场景

在儿童发展心理学与计算机视觉的交叉领域，ChildPlay数据集为研究儿童在自然游戏环境中的注视行为提供了关键基准。该数据集通过收录幼儿园、治疗中心等非受控场景下的短视频片段，精确标注了儿童与成人互动时的头部边界框与注视点信息，为注视目标预测模型的训练与评估奠定了数据基础。其经典应用场景在于构建能够理解儿童社交注视模式的算法，例如识别儿童在自由游戏过程中对玩具、同伴或成人的视觉关注，从而量化其注意力分配模式。

衍生相关工作

ChildPlay数据集的发布催生了一系列围绕儿童注视分析与三维感知的衍生研究。基于该数据集，研究者提出了几何接地的三维视场模型，通过融合几何保持的深度推断方法，显式建模人物的三维注视锥，显著提升了跨数据集的泛化性能。相关工作进一步探索了利用注视嵌入与场景点云匹配的技术路径，推动了注视预测从二维图像平面到三维空间理解的范式转变。同时，该数据集也促进了针对儿童姿态估计、多模态行为分析等任务的基准构建，为发展性障碍的计算行为学研究开辟了新的数据资源与算法验证平台。

数据集最近研究

最新研究方向

在儿童行为分析与计算机视觉交叉领域，ChildPlay数据集的推出标志着儿童注视行为研究迈入新阶段。该数据集聚焦于非受控环境下儿童与成人的互动场景，通过密集的注视标注填补了儿童注视目标预测领域的空白。前沿研究围绕几何感知的深度推断方法展开，构建三维视场模型以提升注视目标预测的精度，尤其关注儿童与成人在注视模式上的差异。热点方向包括开发语义感知的评估指标，如注视头部精度，以更贴合实际应用需求。这一进展对自闭症谱系障碍等发育性疾病的早期筛查具有重要意义，为基于视觉的行为诊断提供了更可靠的数据基础。

相关研究论文

• ChildPlay: A New Benchmark for Understanding Children's Gaze Behaviour

  瑞士Idiap研究所 · 2023年