Fudan-fMRI/fMRI-Video

该数据集主要用于功能性磁共振成像（fMRI）与视频解码的研究，涉及8名参与者（6男2女，年龄23-27岁）。数据采集使用3T扫描仪和32通道RF头线圈，fMRI采样率为每0.8秒一帧。视频刺激来自FCVID和WebVid两个数据集，分别具有不同的分辨率和内容。FCVID数据集包含100个视频类别，每个类别有4个10秒的剪辑，其中3个用于训练，1个用于测试。WebVid数据集则包含1200个8秒的剪辑，其中1000个用于训练，200个用于测试。测试集的视频被观看两次以减少噪音。此外，视频剪辑之间设有2.4秒的空白间隔以减少不同视频间的神经活动重叠。

This dataset is primarily used for research on functional magnetic resonance imaging (fMRI) and video decoding, involving 8 participants (6 males and 2 females, aged 23-27). Data acquisition uses a 3T scanner and a 32-channel RF head coil, with fMRI sampled at 1 frame per 0.8 seconds. Video stimuli are sourced from the FCVID and WebVid datasets, each with different resolutions and content. The FCVID dataset includes 100 video categories, each with 4 10-second clips, 3 of which are used for training and 1 for testing. The WebVid dataset contains 1200 8-second clips, with 1000 used for training and 200 for testing. Videos in the test set are viewed twice to reduce noise. Additionally, a 2.4-second blank interval is introduced between consecutive clips to reduce the overlap of neural activity encoding information from different videos.

原始信息汇总

[ECCV 2024] Enhancing Cross-Subject fMRI-to-Video Decoding with Global-Local Functional Alignment

数据集概述

• 参与者: 8名受试者（6男2女，年龄23-27岁），其中3名参与FCVID数据集，5名参与WebVid数据集。
• 数据采集: 使用3T扫描仪和32通道RF头线圈采集fMRI数据，采样率为每0.8秒1帧。

数据集详情

FCVID数据集

• 视频来源: 来自FCVID视频数据集，视频尺寸为256×256。
• 视频类别: 选择了100个视频类别，涵盖多种事件、场景和物体（如手风琴表演、游乐园、大象等）。
• 视频片段: 每个类别选择4个10秒的片段，其中3个用于训练集，1个用于测试集。
• 训练与测试集: 随机组合这些片段，生成6个500秒的训练和测试视频，确保每个训练片段出现一次，每个测试片段出现三次。

WebVid数据集

• 视频来源: 来自WebVid数据集，视频尺寸为596×336。
• 视频片段: 选择了1200个8秒的片段。
• 训练与测试集: 5名受试者随机观看这些视频，其中1000个片段用于训练集，200个片段用于测试集。测试集视频观看两次以减少噪声。
• 间隔时间: 在连续视频片段之间插入2.4秒的空白间隔，以减少不同视频之间的神经活动重叠。

数据存储结构

• fd-fmri-video-FCVID/WebVid
  • raw-data: 直接从成像设备采集的原始fMRI数据。
  • processed-fmri: 使用fMRIPrep和论文中描述的方法处理的数据，存储为.h5格式。
  • stimuli: 在fMRI扫描期间向受试者展示的所有视频及其对应的字幕。

搜集汇总

数据集介绍

构建方式

Fudan-fMRI/fMRI-Video数据集的构建，基于8名年龄在23至27岁之间的男女受试者，采用3T扫描仪和32通道射频头线圈采集fMRI数据。数据采集过程中，fMRI以每0.8秒一帧的频率进行采样。该数据集的构建涉及两个视频数据源——FCVID和WebVid，分别选取尺寸为256×256和596×336的视频作为刺激材料。FCVID数据集中，每个类别精选了4个10秒的视频片段，其中3个用于训练集，1个用于测试集，并随机组合形成总时长为6500秒的视频序列。WebVid数据集则由1200个8秒的视频片段组成，5名受试者按随机顺序观看，其中1000个用于训练，200个用于测试，且测试集中的视频被观看两次以减少噪声。

特点

该数据集的特点在于，其通过精细挑选的视频片段，形成了具有高度针对性的训练与测试集。FCVID部分覆盖了100个不同的事件、场景和对象，而WebVid部分则专注于文本到视频的合成任务。此外，数据集中引入了2.4秒的空白间隔，以减少连续视频片段间神经活动编码信息的重叠，从而提高数据质量。所有fMRI数据均经过fMRIPrep预处理，并以.h5格式存储，确保了数据的一致性和可用性。

使用方法

使用Fudan-fMRI/fMRI-Video数据集时，研究者可以访问原始的fMRI数据、经过预处理的fMRI数据以及刺激材料（视频和对应的字幕）。原始数据直接来源于成像设备，而预处理数据则采用了论文中描述的方法。用户需遵循数据集的结构，分别从raw-data、processed-fmri和stimuli三个目录下获取所需数据。此外，为保障研究的准确性和重复性，使用过程中应严格遵循数据集的使用协议和相关规定。

背景与挑战

背景概述

Fudan-fMRI/fMRI-Video数据集，是在脑功能成像研究领域具有重要价值的资源。该数据集由复旦大学的研究团队于近期创建，旨在推动跨受试者fMRI至视频解码技术的发展。数据集包含了8名年龄在23至27岁之间的受试者（其中男性6名，女性2名），通过3T扫描仪和32通道射频头线圈采集了fMRI数据。数据集选用了FCVID视频数据集中的100个视频类别以及WebVid数据集中的1200个8秒视频片段作为刺激材料，这些视频覆盖了各种事件、场景和对象。该数据集在fMRI研究领域的应用，为理解大脑处理视频信息的机制提供了重要支持，对相关学术研究产生了深远影响。

当前挑战

尽管Fudan-fMRI/fMRI-Video数据集为研究领域提供了宝贵的资源，但在构建和应用过程中也面临了诸多挑战。首先，如何准确捕捉受试者在观看视频时的神经活动是一个技术难题。其次，数据集构建中需要处理不同受试者之间的生理差异，以及如何通过有效的数据预处理减少噪声和视频片段间的神经活动重叠。此外，数据集的多样性和规模也带来了数据处理和分析上的挑战，这些问题的解决对于提升数据集的实用性和研究结果的可靠性至关重要。

常用场景

经典使用场景

在认知神经科学领域，Fudan-fMRI/fMRI-Video数据集被广泛应用于解码大脑活动与视频内容之间的关联。该数据集通过精心挑选的视频片段，结合fMRI技术，为研究者提供了一个研究大脑如何处理视觉信息的理想平台。

解决学术问题

该数据集解决了传统fMRI研究中存在的跨受试者功能对齐的难题，通过全局-局部功能对齐策略，提高了视频解码的准确性和稳定性，为理解大脑处理复杂视觉刺激提供了新的视角。

衍生相关工作

基于该数据集，学术界衍生出了一系列研究工作，包括但不限于脑活动解码算法的改进、跨模态信息处理的探索，以及个体间认知差异的神经基础分析等，推动了认知神经科学及相关领域的进展。