MAAD

MAAD数据集由丰田研究院创建，专注于驾驶中的‘注视意识’研究。该数据集包含约24.5小时的注视序列，来自23名参与者在观察驾驶场景视频时的注视数据。此外，数据集还包含了基于参与者扫描路径的第三方注视意识标注。MAAD数据集不仅提供了高精度的注视跟踪，还通过第三方标注探索了参与者的注视和感知到的注视意识。尽管数据收集是通过代理危险意识任务而非真实的驾驶环境进行的，但它为研究驾驶场景中的视觉显著性和意识提供了一个有用的起点。该数据集的应用领域包括提高安全系统中的预警效果，从而增强驾驶员的表现。The MAAD Dataset was developed by Toyota Research Institute, focusing on research on gaze awareness in driving scenarios. It contains approximately 24.5 hours of gaze sequence data collected from 23 participants while they watched driving scenario videos. Additionally, the dataset includes third-party gaze awareness annotations based on participants' scanpaths. The MAAD Dataset not only provides high-precision gaze tracking, but also allows exploration of participants' gaze and perceived gaze awareness via third-party annotations. While the data was collected through a surrogate hazard awareness task rather than a real driving environment, it serves as a valuable starting point for research on visual saliency and awareness in driving scenarios. Applications of this dataset include improving the warning efficacy of safety systems, thereby enhancing driver performance.

搜集汇总

数据集介绍

构建方式

MAAD数据集通过高精度眼动追踪设备采集了23名受试者在观看驾驶场景视频时的注视数据，总时长约24.5小时。受试者被要求模拟安全驾驶员监控自动驾驶车辆，并在不同认知任务修饰条件下（如模糊、垂直翻转、仅注视道路、阅读文本等）完成实验。数据集还包含基于受试者扫描路径的第三方注意力意识标注，采用一种可重复的标注方案，对随机选取的场景位置进行1至5级的意识评估。

特点

该数据集的核心特点在于其多维度设计：一是同时提供了高精度注视轨迹和第三方注意力意识标注，为建模人类认知状态提供了双重监督信号；二是引入了多种认知任务修饰条件，模拟真实驾驶中可能出现的注意力分散或认知负荷变化；三是通过多次重复呈现相同视频刺激，使得研究者能够分析不同个体和任务条件下的注视分布模式，而非仅依赖单一扫描路径。

使用方法

数据集适用于训练和评估能够从噪声注视估计和场景视频中推断注意力意识的深度学习模型。具体使用时，可将视频序列与注视数据作为输入，输出视觉显著性图、精细化注视估计以及注意力意识热图。模型可通过监督学习结合多种正则化项（如时空平滑性、意识衰减、注意力容量约束）进行训练，并支持在显著性预测、注视去噪与重校准等任务上进行评估。

背景与挑战

背景概述

MAAD数据集由丰田研究所与西北大学的研究团队于2021年创建，旨在探索驾驶场景中人类‘注意意识’的计算建模。该数据集聚焦于一个核心研究问题：如何从动态场景视频与噪声眼动数据中，推断个体对环境中已注意区域的持续物理意识。通过采集23名受试者在观看6.2小时驾驶视频时的24.5小时高精度眼动追踪数据，并引入第三方对注意意识的主观标注，MAAD填补了视觉注意与情境感知之间认知桥梁的数据空白。其影响力体现在为自适应人机交互系统（如半自动驾驶车辆的安全预警）提供了量化意识状态的可行性基础，推动了从单纯注视预测向认知状态推断的范式演进。

当前挑战

MAAD数据集面临的挑战涵盖领域问题与构建过程两个层面。在领域问题方面，核心挑战在于‘注意意识’本身难以客观量化——它涉及工作记忆、注意力衰减与动态场景理解的复杂交互，传统视觉显著性模型仅能预测瞬时注视，而无法捕捉随时间衰减的物理意识状态。在构建过程中，挑战体现为：1）实验设计需平衡生态效度与控制精度，采用实验室高精度眼动仪（精度达0.15°）虽提升数据质量，却牺牲了真实驾驶的视觉-动作闭环；2）注意意识的第三方标注具有主观性，需设计可复现的标注协议（如基于扫视路径推断意识等级），但标注者间一致性仍是潜在局限；3）认知任务修饰条件（如文本阅读、图像模糊）虽模拟真实驾驶分心，但其对扫视模式的干扰效应需仔细分离，以避免混淆模型对意识本质的学习。

常用场景

经典使用场景

MAAD数据集专为驾驶场景中的人类“关注意识”建模而设计，其核心应用在于从视频片段和噪声眼动数据中联合估计视觉显著性、精炼注视点以及驾驶员对动态场景的感知热力图。该数据集包含23名受试者在不同认知任务条件下（如分心阅读、道路专注等）观察城市驾驶视频的24.5小时高精度眼动轨迹，并提供了第三方标注的感知意识评分，为研究注意力与情境意识间的耦合关系提供了独特的量化基准。

解决学术问题

该数据集解决了驾驶认知科学中一个关键难题：如何从噪声眼动信号中定量推断驾驶员的潜在空间意识，而非仅停留在注视点或显著性的浅层分析。通过引入“关注意识”这一概念并设计可重复的标注协议，MAAD弥合了视觉注意与情境理解之间的鸿沟，为验证基于深度学习的意识估计模型提供了监督信号。其意义在于推动了从被动眼动分析向主动认知推理的范式转变，为构建更安全的人机协同系统奠定了理论基础。

衍生相关工作

MAAD数据集衍生了一系列经典工作，包括：基于3D卷积网络的视频显著性预测方法（如TASED-Net），利用时空编码提升动态场景的注视点预测精度；结合光流与注意力机制的注视去噪与重校准算法，有效修正眼动追踪系统的系统偏差；以及将感知意识估计与驾驶员意图预测相融合的端到端框架，用于提前识别变道、制动等操作。这些工作共同推动了从单一注视分析到多维认知状态建模的研究演进。