MindGaze

MindGaze数据集是一个用于导航与信息意图预测的公开数据集，由DFKI研究所创建。该数据集包含15名参与者执行3600次试验的EEG和眼动追踪记录。数据集旨在解决在现实场景中识别用户搜索意图的问题，即用户是简单地浏览场景（导航意图）还是搜索目标对象（信息意图）。MindGaze数据集的创建过程采用了工业工作场所的场景，参与者需要在Unity中模拟的工业环境中寻找工具，例如锤子、钳子、锯子、螺丝刀和扳手。该数据集适用于研究视觉搜索行为，并帮助开发能够在更大用户群体中泛化的意图识别模型。

The MindGaze dataset is a public dataset for navigation and informational intent prediction, created by the DFKI Institute. This dataset contains EEG and eye-tracking recordings from 15 participants performing 3600 trials. The dataset aims to address the problem of identifying users' search intent in real-world scenarios, i.e., whether users are simply browsing the scene (navigation intent) or searching for target objects (informational intent). The MindGaze dataset was constructed using industrial workplace scenarios, where participants were tasked with searching for tools such as hammers, pliers, saws, screwdrivers, and wrenches within industrial environments simulated in Unity. This dataset is applicable to research on visual search behavior, and aids in developing intent recognition models that can generalize across larger user populations.

原始信息汇总

MindGaze 数据集概述

基本信息

• 发布日期: 2023年11月1日
• 版本: 1
• DOI: 10.5281/zenodo.8239062
• 资源类型: 数据集
• 发布者: Zenodo
• 创建日期: 2023年8月13日
• 修改日期: 2023年8月15日

数据集描述

• 名称: MindGaze
• 内容: 包含个体执行视觉搜索的数据集。
• 关键词:
  • Multimodal dataset
  • EEG
  • Eye Tracking
  • Visual Search Intent

访问权限

• 文件访问: 受限
• 访问条件:
  • 用户需签署最终用户许可协议（EULA）。
  • EULA必须由学术机构的永久职位人员签署。
  • 仅限学术用途，禁止非学术用途。
  • 禁止以任何形式分发数据集。
  • 使用该数据集的研究论文、演示或文档需引用以下论文:
    Implicit Search Intent Recognition using EEG and Eye Tracking: Novel Dataset and Cross-User Prediction
• 获取方式: 联系Mansi Sharma ([e-mail])

统计信息

• 总浏览量: 301
• 总下载量: 9
• 数据量: 159.6 GB

引用信息

APA格式:
Mansi Sharma. (2023). MindGaze (Version 1) [Data set]. Zenodo. https://doi.org/10.5281/zenodo.8239062

外部资源

• 索引: OpenAIRE

搜集汇总

数据集介绍

构建方式

MindGaze数据集通过结合脑电图（EEG）和眼动追踪技术，构建了一个用于识别导航意图和信息意图的多模态数据集。研究团队设计了120个工业场景，模拟真实环境中的视觉搜索任务。15名参与者在无时间限制的条件下完成搜索任务，数据采集过程中同步记录了EEG和眼动数据，并通过特定事件进行时间锁定。数据集包含3600次试验，涵盖了多种工具和场景复杂度，确保了数据的多样性和实用性。

使用方法

MindGaze数据集的使用方法包括数据预处理、特征提取和分类模型构建。EEG数据通过PyEEG和共同空间模式（CSP）提取特征，眼动数据则基于注视事件和扫视运动提取特征。研究团队采用了早期融合、晚期融合和混合融合策略，结合支持向量机（SVM）等分类器进行意图识别。数据集适用于跨用户和用户内预测场景，并支持实时意图识别的研究。具体使用步骤和代码示例可在数据集网站上获取。

背景与挑战

背景概述

MindGaze数据集由德国萨尔兰信息学园区的DFKI研究团队于2023年创建，旨在通过脑电图（EEG）和眼动追踪技术识别用户的隐式搜索意图（导航意图与信息意图）。该数据集突破了传统研究中固定搜索时长的限制，采用用户自主决定搜索时长的实验设计，更贴近真实场景。作为首个公开的多模态意图识别数据集，其包含15名参与者的3600次试验数据，覆盖工业场景中的工具搜索任务，为人机交互领域的意图识别研究提供了重要基准。

当前挑战

该数据集需解决两大核心挑战：1）领域问题层面，传统方法依赖固定搜索时长和用户特定训练数据，难以适应真实场景中动态变化的搜索行为及跨用户泛化需求；2）构建过程中需克服多模态数据同步（EEG与眼动）、复杂工业场景建模，以及用户自主终止搜索带来的数据标注复杂性。此外，EEG信号易受运动伪影干扰，而眼动数据需处理眨眼和注视点漂移等噪声，对特征提取与融合策略提出更高要求。

常用场景

经典使用场景

MindGaze数据集在视觉搜索意图识别领域具有重要应用价值，尤其在工业场景中。该数据集通过结合脑电图（EEG）和眼动追踪技术，能够有效区分用户的导航意图和信息意图。其经典使用场景包括工业环境中工人寻找工具的过程，通过记录用户在自然搜索行为中的EEG和眼动数据，为意图识别模型提供了高质量的标注数据。

解决学术问题

MindGaze数据集解决了视觉搜索意图识别中的两个关键学术问题。首先，它摒弃了固定搜索时间的实验设计，允许用户自主决定搜索时长，从而更贴近真实场景。其次，该数据集首次支持跨用户预测场景，无需针对每个用户单独收集训练数据，显著提升了模型的实用性。这些创新使得意图识别研究能够更好地应用于实际环境。

实际应用

在实际应用方面，MindGaze数据集可广泛应用于工业辅助系统。通过实时识别工人的搜索意图，系统能够主动提供工具位置提示，显著提升工作效率。此外，该技术还可扩展至虚拟现实游戏、医疗环境导航等领域，为用户提供更加智能的交互体验。数据集中的多模态特征也为开发实时意图预测系统奠定了基础。

数据集最近研究

最新研究方向

MindGaze数据集作为首个公开结合脑电图（EEG）与眼动追踪技术的多模态数据集，近期研究聚焦于突破传统固定搜索时长的实验范式，通过用户自主终止搜索任务的设计显著提升了意图识别模型的生态效度。在工业场景的视觉搜索任务中，该数据集支持跨用户预测模型的开发，特征选择策略（如PyEEG频域特征与眼动扫描路径的早期融合）将识别准确率提升至84.5%，与用户内预测精度（85.5%）相当，为无标定数据的实际应用提供了关键技术支撑。当前前沿探索进一步拓展至0.5-2秒短时窗的实时意图预测，在1.5秒窗口达到91.8%准确率，为增强现实导览、智能仓储等时效敏感场景奠定基础。

相关研究论文

• Implicit Search Intent Recognition using EEG and Eye Tracking: Novel Dataset and Cross-User Prediction

  DFKI,Saarland Informatics Campus Saarbrücken,Germany · 2025年