CineBrain

CineBrain是一个大规模多模态脑数据集，包含参与者在观看《生活大爆炸》剧集时记录的fMRI、EEG和ECG数据。它支持从多模态神经信号解码视频、从自然叙事听力解码听觉、跨模态EEG-to-fMRI转换以及真实世界视听观看下的刺激到大脑建模等研究。

CineBrain is a large-scale multimodal brain dataset containing fMRI, EEG and ECG data recorded from participants while they watched episodes of *The Big Bang Theory*. It supports multiple research topics, including decoding video content from multimodal neural signals, decoding auditory information from natural narrative listening, cross-modal EEG-to-fMRI conversion, and stimulus-to-brain modeling during real-world audiovisual viewing.

原始信息汇总

CineBrain 数据集概述

数据集基本信息

• 数据集名称：CineBrain: A Large-Scale Multi-Modal Brain Dataset for Naturalistic Audiovisual Narrative Processing
• 主要作者：Jianxiong Gao, Yichang Liu, Baofeng Yang, Jianfeng Feng, Yanwei Fu†
• 相关论文：arXiv:2503.06940
• 数据集访问地址：https://huggingface.co/datasets/Fudan-fMRI/CineBrain

数据集内容与规模

CineBrain 是一个大规模多模态大脑数据集，包含参与者在观看《生活大爆炸》剧集时采集的以下记录：

• 功能磁共振成像：fMRI 记录
• 脑电图：EEG 信号
• 心电图：ECG 信号
• 同步刺激材料：视频、音频和字幕
• 时间对齐标注：字幕和事件注释

数据集支持的研究方向

该数据集支持以下研究领域：

• 从多模态神经信号进行视频解码
• 从自然叙事聆听中进行听觉解码
• 跨模态 EEG 到 fMRI 的转换
• 真实世界视听观看下的刺激-大脑建模

相关资源与引用

• 代码库基础：基于 CogVideo (v1.0) 构建
• 引用格式： bibtex @article{gao2025cinebrain, title={CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing}, author={Gao, Jianxiong and Liu, Yichang and Yang, Baofeng and Feng, Jianfeng and Fu, Yanwei}, journal={arXiv preprint arXiv:2503.06940}, year={2025} }

搜集汇总

数据集介绍

构建方式

在认知神经科学领域，研究自然情境下的视听叙事处理需要高质量的多模态神经影像数据。CineBrain数据集的构建过程严谨而系统，研究团队招募参与者观看情景喜剧《生活大爆炸》的剧集，同步采集了功能性磁共振成像、脑电图和心电图信号。为确保数据的精确对齐，实验设计实现了神经记录与视听刺激的严格时间同步，并辅以视频、音频、字幕以及时间对齐的文本描述和事件标注，从而形成了一个大规模、多模态的脑活动数据集。

使用方法

对于希望利用该数据集的研究者，首要步骤是访问HuggingFace平台获取完整的数据库、文档及元数据。在技术实现层面，研究代码库基于CogVideo框架构建，使用者需按照其官方指南配置相应的计算环境并安装额外依赖。准备工作包括下载基础的CogVideo预训练模型以及数据集相关的特定权重文件。完成这些设置后，研究者便可利用同步的多模态神经信号与刺激数据，开展视频解码、脑电到功能磁共振的跨模态翻译等一系列计算神经科学实验。

背景与挑战

背景概述

在认知神经科学领域，自然情境下的大脑多模态信号采集对于理解人类高级认知功能至关重要。CineBrain数据集由复旦大学等机构的研究人员于2025年创建，旨在探究个体在观看叙事性视听内容时的大脑响应机制。该数据集的核心研究问题聚焦于如何从功能性磁共振成像、脑电图和心电图等多模态神经信号中解码复杂的自然刺激，从而推动视频解码、听觉解码及跨模态翻译等前沿方向的发展。其大规模、多模态的特性为构建更精确的脑-机接口和刺激-大脑计算模型提供了关键数据支撑，显著提升了该领域研究的生态效度和可解释性。

当前挑战

CineBrain数据集致力于解决自然叙事视听处理中的神经解码问题，其核心挑战在于如何从高噪声、低信噪比的多模态大脑信号中准确提取与复杂动态刺激对应的神经表征。具体而言，数据构建过程中面临多重困难：多模态数据的精确时间同步要求极高，需确保功能性磁共振成像、脑电图及心电图与视听刺激的毫秒级对齐；自然情境下的神经信号变异性强，个体差异与注意力波动增加了数据标准化与泛化的难度；此外，大规模数据的管理、存储与共享需克服技术瓶颈，以保障数据质量与可访问性，为后续建模奠定可靠基础。

常用场景

经典使用场景

在认知神经科学领域，自然情境下的多模态脑信号分析正成为理解大脑如何处理复杂现实世界信息的关键途径。CineBrain数据集通过同步记录被试观看情景喜剧《生活大爆炸》时的功能磁共振成像、脑电图和心电图信号，为研究者提供了一个经典的使用场景：探索大脑在自然叙事视听处理中的动态响应机制。该场景允许学者深入分析大脑区域在语言理解、情感共鸣及社会认知任务中的协同激活模式，为揭示高阶认知功能的神经基础提供了宝贵的数据支撑。

解决学术问题

传统脑成像研究常受限于简化的实验范式，难以捕捉大脑在真实环境中的处理机制。CineBrain数据集有效解决了这一瓶颈，它通过提供大规模、多模态的神经信号记录，支持视频解码、听觉解码及跨模态翻译等前沿研究。该数据集使得学者能够探究自然叙事下大脑的编码原理，推动了刺激-脑响应建模的发展，并为理解视听整合、记忆形成等认知过程的神经机制提供了实证基础，显著提升了脑科学研究的生态效度与理论深度。

实际应用

在医疗健康与人工智能交叉领域，CineBrain数据集的实际应用展现出广阔前景。其多模态脑信号可用于开发脑机接口系统，辅助语言或运动功能障碍患者的沟通与康复；同时，基于该数据训练的神经解码模型能够优化个性化内容推荐，提升用户体验。在临床层面，这些数据有助于识别神经精神疾病的生物标志物，为早期诊断与干预提供新思路，体现了脑科学研究向转化医学迈进的重要价值。

数据集最近研究

最新研究方向

在认知神经科学领域，自然主义刺激下的多模态脑信号解码正成为前沿热点。CineBrain数据集通过整合fMRI、EEG和ECG信号，并同步《生活大爆炸》剧集的视听叙事材料，为探索真实场景下的大脑信息处理机制提供了宝贵资源。当前研究聚焦于利用深度学习模型实现从神经信号到视频内容的跨模态重建，推动脑机接口在自然交互中的实用化进程。该数据集亦支持听觉解码与刺激-大脑映射建模，为理解人类在复杂叙事环境中的认知加工开辟了新途径，对神经工程与人工智能的融合具有深远意义。