Dream2Image

Dream2Image是一个结合了睡眠期间的EEG信号、梦境报告和AI生成的图像的开放多模态数据集。该数据集基于38名参与者和超过31小时的梦境EEG记录，包含129个样本，提供了醒前的最后几秒钟的大脑活动（T-15,T-30,T-60,T-120）、梦境经历的原始报告以及梦境的近似视觉重建。这个数据集为梦境研究提供了一个新的资源，一个独特的研究梦境神经相关性的资源，用于开发从大脑活动中解码梦境的模型，并在神经科学、心理学和人工智能领域探索新的方法。Dream2Image在Hugging Face和GitHub上公开提供，旨在支持在人工智能和神经科学的交界处进行的研究。Dream2Image is an open multi-modal dataset that combines EEG signals during sleep, dream reports, and AI-generated images. This dataset is based on 38 participants and over 31 hours of dream EEG recordings, containing 129 samples. It provides brain activity recordings from the final seconds prior to awakening (T-15, T-30, T-60, T-120), original reports of dream experiences, and approximate visual reconstructions of dreams. This dataset constitutes a novel resource for dream research, and a unique resource for investigating the neural correlates of dreams, for developing models that decode dreams from brain activity, and for exploring innovative methodologies across the fields of neuroscience, psychology, and artificial intelligence. Dream2Image is publicly accessible via Hugging Face and GitHub, with the goal of supporting research at the intersection of artificial intelligence and neuroscience.

搜集汇总

数据集介绍

构建方式

在睡眠神经科学研究领域，Dream2Image数据集通过整合多源脑电图数据与梦境报告构建而成。研究团队从DREAM DATABASE中筛选了38名健康参与者的睡眠EEG记录，采用Neuroscan SynAmps和BrainProducts HD-EEG系统采集信号，统一保留17个标准电极位置。数据预处理阶段对原始信号进行重采样至400Hz，并实施通道归一化处理，最终提取觉醒前不同时间窗口的神经活动片段（T-15至T-120秒），这些时间点的选择基于前人研究中梦境发生与觉醒前神经活动变化的关联性论证。

特点

该数据集的核心价值体现在其开创性的多模态架构上，首次实现了脑电信号、原始梦境文本与AI生成图像的三元对齐。数据集包含31小时EEG记录与129组梦境样本，每组样本均配备四种时间尺度的神经活动数据、未经修饰的口述转录文本以及经过语义优化的简版描述。特别值得注意的是，所有视觉内容均通过多阶段AI流程生成，包括语义提取、提示词优化、神经心理学验证等环节，并采用BERT嵌入相似度计算确保图像与文本的语义一致性，这种设计为研究梦境的主观体验与神经表征提供了立体化观测维度。

使用方法

研究者可通过Hugging Face平台获取该数据集的标准化文件结构，其中包含按时间维度组织的EEG数组、原始转录文本和512像素分辨率图像。在应用层面，神经科学家可分析不同睡眠阶段脑电模式与梦境内容的关联，心理学家能借助视觉化表征探究情绪记忆处理机制，人工智能领域则可将其作为多模态解码任务的基准数据集。需注意的是，由于样本量限制，建议配合数据增强或迁移学习技术使用，且应重点关注REM睡眠时段数据以获取更丰富的视觉意象特征。

背景与挑战

背景概述

梦境研究作为神经科学与心理学交叉领域的重要课题，长期受限于多模态数据的稀缺。2025年由加州大学圣地亚哥分校神经科学系Yann Bellec团队发布的Dream2Image数据集，首次整合了38名参与者的31小时睡眠脑电图信号、梦境文字记录与AI生成图像，构建了包含129组样本的多模态资源。该数据集通过记录觉醒前15-120秒的脑电活动片段，结合 verbatim 梦境转录与经过神经心理学验证的图像重建，为探索意识状态转换、梦境神经关联机制提供了突破性研究基础，显著推动了脑机接口与人工智能在睡眠研究领域的应用进程。

当前挑战

该数据集面临的核心科学挑战在于解码梦境内容与脑电信号间的复杂映射关系，需解决跨被试脑电信号异质性、梦境报告语义模糊性以及视觉重建的神经表征对齐问题。在构建过程中，技术挑战主要体现在多源脑电数据的标准化处理（如采样率统一与电极配置协调）、梦境报告自然语言的结构化转换，以及生成图像与原始梦境语义一致性的量化评估。此外，样本量有限性与梦境回忆可变性对模型泛化能力构成制约，需通过数据增强与迁移学习策略予以补偿。

常用场景

经典使用场景

在梦境研究领域，Dream2Image数据集为探索睡眠期间大脑活动与主观体验的关联提供了关键工具。该数据集最经典的应用场景在于通过多模态数据（脑电图信号、梦境转录文本和AI生成图像）构建解码模型，使研究者能够分析快速眼动睡眠阶段的神经模式如何转化为具体的梦境叙事与视觉内容。这种跨模态对齐为理解意识状态转变过程中的神经机制开辟了新途径。

衍生相关工作

该数据集催生了多项跨学科研究，例如基于深度学习的多模态解码框架开发，其中结合卷积神经网络处理脑电信号与自然语言处理模型解析梦境文本。受其启发的研究还拓展了脑机接口在创意表达领域的应用，如通过实时脑电信号生成艺术图像。这些工作延续了Horikawa等人关于睡眠视觉解码的研究范式，并在梦境情感神经网络签名分析等方面取得突破。

数据集最近研究

最新研究方向

在意识科学领域，Dream2Image数据集正推动梦境神经解码的前沿探索。当前研究聚焦于利用多模态对齐技术，将脑电图信号与梦境报告、AI生成图像相结合，旨在构建从大脑活动到主观体验的映射模型。这一方向与脑机接口和情感计算热点紧密关联，通过分析REM睡眠阶段的神经特征与梦境情感效价的关系，为创伤后应激障碍等心理疾病的干预提供新范式。其意义在于突破了传统梦境研究的语言描述局限，为理解意识状态转换机制建立了可量化的实验基础。

相关研究论文

• Dream2Image : An Open Multimodal EEG Dataset for Decoding and Visualizing Dreams with Artificial Intelligence

  加利福尼亚大学圣地亚哥分校神经科学系 · 2025年