Gaze-in-the-Wild dataset (GW)

Gaze-in-the-Wild数据集（GW）是由罗切斯特理工学院的研究人员创建的，旨在研究日常活动中眼动和头部协调的自然行为。该数据集包括了19名参与者在执行室内导航、接球、视觉搜索和泡茶等任务时的眼动和头部旋转速度、红外眼图像和场景图像（RGB+D）。数据集的创建过程中，参与者佩戴了装有惯性测量单元（IMU）的硬帽、眼动追踪眼镜和立体RGB-D传感器，以捕捉多模态数据。该数据集的应用领域包括但不限于眼动追踪技术的发展、机器学习算法的训练和评估，以及自然环境中眼动和头部运动的分类研究。Gaze-in-the-Wild dataset (GW) was created by researchers from Rochester Institute of Technology to study the natural coordinated behaviors of eye movements and head movements during daily activities. This dataset includes eye movement data, head rotation speed, infrared eye images, and RGB+D scene images collected from 19 participants while they completed tasks including indoor navigation, ball catching, visual search, and tea brewing. During the dataset construction process, participants wore hard hats equipped with inertial measurement units (IMUs), eye-tracking glasses, and stereo RGB-D sensors to capture this multimodal data. The application fields of this dataset include but are not limited to the development of eye-tracking technologies, the training and evaluation of machine learning algorithms, and research on the classification of eye and head movements in natural environments.

搜集汇总

数据集介绍

构建方式

在自然视觉行为研究中，传统受控环境难以捕捉头部自由运动下的眼动模式。Gaze-in-the-Wild数据集（GW）通过集成多模态传感器系统，在19名参与者执行室内导航、接球、视觉搜索和沏茶等日常任务时，同步采集头部与眼动数据。硬件配置包括配备惯性测量单元（IMU）的安全帽、120Hz双目眼动追踪眼镜以及ZED立体相机，确保时空校准。数据经过双阶段标定流程，包括眼动仪标定和系统坐标系对齐，并通过定制标注工具由多名标注者手动标记约2小时15分钟的注视、扫视和平滑追踪事件，标注者间一致性Cohen's κ达0.72。

使用方法

GW数据集支持机器学习算法在头眼协调分类任务中的训练与评估。研究者可利用标注数据开发自动化事件检测模型，如随机森林和循环神经网络，通过留一法交叉验证评估性能。数据集提供绝对速度、方位角与仰角速度等特征，便于探索眼头运动动力学。此外，配套的事件级交叉类别度量（ELC）工具支持细粒度性能分析，克服传统样本度量的局限。该数据集适用于自然视觉行为建模、头眼运动算法优化、以及虚拟现实或机器人视觉中的交互研究，推动头部自由情境下的眼动分析范式发展。

背景与挑战

背景概述

Gaze-in-the-Wild数据集（GW）由罗切斯特理工学院的研究团队于近年创建，旨在探索自然环境中眼动与头部运动的协调机制。该数据集的核心研究问题聚焦于突破传统实验室受控条件的限制，通过多模态传感器采集日常活动中的眼动与头部运动数据，以推动头动自由条件下的眼动事件分类研究。其影响力在于为视觉行为分析、人机交互及认知科学领域提供了首个大规模自然场景标注数据，促进了头动补偿算法与机器学习模型的发展。

当前挑战

该数据集致力于解决头动自由条件下眼动事件分类的挑战，尤其在区分凝视追踪与凝视固定等复杂行为时，现有算法因缺乏头部运动信息而性能受限。构建过程中的挑战包括多传感器时空校准的复杂性、低成本惯性测量单元导致的头部姿态累积误差，以及人工标注眼动事件时因行为交织所产生的高歧义性，这些因素共同影响了数据的一致性与分类模型的泛化能力。

常用场景

经典使用场景

在眼动追踪与头部运动协调研究领域，Gaze-in-the-Wild (GW) 数据集为探索自然行为中的视觉策略提供了关键资源。该数据集通过融合惯性测量单元、立体相机与移动眼动仪，记录了参与者在室内导航、接球、视觉搜索与沏茶等日常任务中的眼头协同运动数据。其最经典的应用场景在于训练与评估机器学习模型，如随机森林与循环神经网络，以实现头部自由状态下的凝视事件分类，包括注视、扫视与平滑追踪的自动检测，为复杂环境中的眼动分析奠定了实证基础。

解决学术问题

GW 数据集主要解决了传统眼动研究中头部运动受限导致的分类算法失效问题。在实验室控制环境下，头部固定使得现有凝视事件分类工具难以适应自然行为中的动态协调。该数据集通过提供多模态同步数据，包括眼头旋转速度、红外眼图与场景影像，支持研究者开发鲁棒的分类算法，以区分由前庭-眼反射、视动反应等机制引发的复杂凝视模式。这不仅推进了头部自由凝视事件检测的算法发展，还为理解自然视觉行为中的眼头协同机制提供了数据支撑。

实际应用

在实际应用层面，GW 数据集为增强现实、人机交互与临床诊断等领域提供了重要参考。例如，在开发智能助视设备或虚拟现实系统时，需要准确识别用户在自由头部运动下的凝视意图，以优化界面交互与内容呈现。此外，该数据集可用于评估神经退行性疾病患者的眼动异常，通过分析自然任务中的眼头协调模式，辅助早期诊断与康复监测。其提供的深度信息与多视角场景数据，进一步支持了三维环境中的视觉行为建模与仿真。

数据集最近研究

最新研究方向

在眼动追踪领域，Gaze-in-the-Wild (GW) 数据集推动了无头部约束条件下眼动事件分类的前沿研究。该数据集通过融合惯性测量单元与立体相机，捕捉日常活动中的眼-头协调运动，为自然行为场景下的视觉分析提供了多模态数据基础。当前研究热点集中于利用机器学习算法，如随机森林与循环神经网络，提升对注视、扫视及平滑追随等事件的分类精度，尤其在区分低速度追随运动与注视事件方面面临挑战。该数据集的公开促进了无头部固定眼动分类这一新兴方向的发展，并为虚拟现实、人机交互及神经科学领域的应用提供了关键数据支持。

相关研究论文

• Gaze-in-wild: A dataset for studying eye and head coordination in everyday activities

  罗切斯特理工学院 · 2019年