A Multimodal Eye Movement Dataset

本研究介绍了名为‘A Multimodal Eye Movement Dataset’的数据集，由德国图宾根大学创建。该数据集包含超过866,050个注释的凝视点，记录了19名受试者在真实世界和模拟器中的驾驶过程中的眼动数据。数据集内容丰富，包括眼睑闭合、瞳孔中心、光学向量等多种数据源。创建过程涉及详细的特征分析和评估，旨在帮助实时系统和算法开发者选择最佳数据源。该数据集广泛应用于眼动分类、驾驶行为分析和机器学习等领域，是目前全球最大的注释眼动数据集之一。

This study introduces a dataset named "A Multimodal Eye Movement Dataset", which was developed by the University of Tübingen in Germany. The dataset contains over 866,050 annotated gaze points, recording eye movement data of 19 subjects during driving in both real-world scenarios and driving simulators. It encompasses diverse data sources such as eyelid closure, pupil center coordinates, optical flow vectors and other related data. The creation process involves comprehensive feature analysis and evaluation, with the aim of assisting real-time system and algorithm developers in selecting the optimal data sources. Widely applied in fields including eye movement classification, driving behavior analysis and machine learning, this dataset is currently one of the largest annotated eye movement datasets worldwide.

搜集汇总

数据集介绍

构建方式

该数据集通过记录19名受试者在真实驾驶和模拟驾驶环境中的眼动数据构建而成。数据集包含超过800,000个注视点，涵盖多种眼动类型，如注视、扫视和平滑追踪。数据源包括眼睑闭合、瞳孔中心、光学向量以及从眼角中心到瞳孔中心的向量。这些数据源经过单独和组合分析，以评估其在眼动分类中的适用性。

特点

该数据集的显著特点在于其多模态数据的丰富性和高质量的注释。数据集不仅包含传统的眼动特征，还引入了如光学向量、相对眼睑开合状态等新指标。此外，数据集的规模和多样性使其成为评估和训练眼动分类算法的理想资源。

使用方法

该数据集适用于开发和评估眼动分类算法，特别是在实时系统和自动驾驶领域。研究者可以使用Matlab代码和数据进行特征提取和机器学习模型的训练。数据集的注释和多模态特性使其适用于多种眼动分析任务，如注视路径分析和显著性预测。

背景与挑战

背景概述

眼动追踪技术在认知状态、工作负荷、自动驾驶车辆中的注意力保证以及注视预测等领域中扮演着日益重要的角色。由德国图宾根大学的Wolfgang Fuhl和Enkelejda Kasneci于2018年创建的‘A Multimodal Eye Movement Dataset’数据集，旨在通过超过80万次注视点的记录，对19名受试者在真实驾驶和模拟驾驶环境中的眼动行为进行详细标注。该数据集不仅涵盖了眼睑闭合、瞳孔中心、光学向量等多种数据源，还通过多模态分析评估了这些数据源在眼动分类中的适用性。此数据集的发布为实时系统和算法开发者提供了宝贵的资源，有助于他们选择最适合其应用的数据源，并推动了眼动追踪技术在多个领域的发展。

当前挑战

该数据集在构建过程中面临多项挑战。首先，眼动数据的多样性和复杂性使得准确分类眼动类型（如注视、扫视和追踪）变得困难。其次，数据集的低采样率（25帧每秒）增加了区分不同眼动类型的难度。此外，数据集中的错误标注和噪声数据也对算法的鲁棒性提出了高要求。在应用层面，如何有效地利用多模态数据进行眼动分类，以及如何处理数据集中的不平衡问题，也是当前研究的重点和难点。

常用场景

经典使用场景

A Multimodal Eye Movement Dataset 数据集的经典使用场景在于其对多种眼动数据的详细注释，包括注视、扫视和平滑追踪等。这些数据在驾驶情境下记录，涵盖了真实世界和模拟器中的驾驶体验，为研究者提供了丰富的眼动行为分析资源。通过结合眼睑闭合、瞳孔中心、光学向量等多种数据源，该数据集支持对眼动分类算法的深入评估和优化，特别是在实时系统中的应用。

衍生相关工作

基于 A Multimodal Eye Movement Dataset 数据集，衍生出了多项经典工作，特别是在眼动分类和数据生成领域。例如，研究者们开发了基于随机森林和神经网络的眼动分类算法，显著提高了分类的准确性和鲁棒性。此外，该数据集还启发了多种眼动数据生成和模拟方法，如使用变分自编码器生成合成眼动数据，从而在数据稀缺的情况下仍能进行有效的模型训练。这些衍生工作不仅推动了眼动研究的进展，也为相关领域的应用提供了新的技术支持。

数据集最近研究

最新研究方向

在眼动追踪领域，A Multimodal Eye Movement Dataset的最新研究方向主要集中在多模态数据融合与深度学习算法的应用。该数据集通过整合眼睑闭合、瞳孔中心、光学向量等多种数据源，为眼动分类提供了丰富的信息。前沿研究不仅关注于单个特征的有效性，还探索了多特征组合在眼动分类中的协同作用。此外，深度神经网络（DNN）和随机森林（RF）等机器学习方法被广泛应用于评估不同数据源的分类性能，旨在为实时系统开发者提供最佳的数据选择策略。这些研究不仅推动了眼动追踪技术在自动驾驶、人机交互等领域的应用，还为眼动数据的生成与模拟提供了新的方法，从而提升了眼动分析的准确性与可靠性。

相关研究论文

• A Multimodal Eye Movement Dataset and a Multimodal Eye Movement Segmentation Analysis

  图宾根大学 · 2021年