Fudan-fMRI/fMRI-Video|fMRI数据集|视频数据数据集

该数据集主要用于功能性磁共振成像（fMRI）与视频解码的研究，涉及8名参与者（6男2女，年龄23-27岁）。数据采集使用3T扫描仪和32通道RF头线圈，fMRI采样率为每0.8秒一帧。视频刺激来自FCVID和WebVid两个数据集，分别具有不同的分辨率和内容。FCVID数据集包含100个视频类别，每个类别有4个10秒的剪辑，其中3个用于训练，1个用于测试。WebVid数据集则包含1200个8秒的剪辑，其中1000个用于训练，200个用于测试。测试集的视频被观看两次以减少噪音。此外，视频剪辑之间设有2.4秒的空白间隔以减少不同视频间的神经活动重叠。

This dataset is primarily used for research on functional magnetic resonance imaging (fMRI) and video decoding, involving 8 participants (6 males and 2 females, aged 23-27). Data acquisition uses a 3T scanner and a 32-channel RF head coil, with fMRI sampled at 1 frame per 0.8 seconds. Video stimuli are sourced from the FCVID and WebVid datasets, each with different resolutions and content. The FCVID dataset includes 100 video categories, each with 4 10-second clips, 3 of which are used for training and 1 for testing. The WebVid dataset contains 1200 8-second clips, with 1000 used for training and 200 for testing. Videos in the test set are viewed twice to reduce noise. Additionally, a 2.4-second blank interval is introduced between consecutive clips to reduce the overlap of neural activity encoding information from different videos.

原始信息汇总

[ECCV 2024] Enhancing Cross-Subject fMRI-to-Video Decoding with Global-Local Functional Alignment

数据集概述

• 参与者: 8名受试者（6男2女，年龄23-27岁），其中3名参与FCVID数据集，5名参与WebVid数据集。
• 数据采集: 使用3T扫描仪和32通道RF头线圈采集fMRI数据，采样率为每0.8秒1帧。

数据集详情

FCVID数据集

• 视频来源: 来自FCVID视频数据集，视频尺寸为256×256。
• 视频类别: 选择了100个视频类别，涵盖多种事件、场景和物体（如手风琴表演、游乐园、大象等）。
• 视频片段: 每个类别选择4个10秒的片段，其中3个用于训练集，1个用于测试集。
• 训练与测试集: 随机组合这些片段，生成6个500秒的训练和测试视频，确保每个训练片段出现一次，每个测试片段出现三次。

WebVid数据集

• 视频来源: 来自WebVid数据集，视频尺寸为596×336。
• 视频片段: 选择了1200个8秒的片段。
• 训练与测试集: 5名受试者随机观看这些视频，其中1000个片段用于训练集，200个片段用于测试集。测试集视频观看两次以减少噪声。
• 间隔时间: 在连续视频片段之间插入2.4秒的空白间隔，以减少不同视频之间的神经活动重叠。

数据存储结构

• fd-fmri-video-FCVID/WebVid
  • raw-data: 直接从成像设备采集的原始fMRI数据。
  • processed-fmri: 使用fMRIPrep和论文中描述的方法处理的数据，存储为.h5格式。
  • stimuli: 在fMRI扫描期间向受试者展示的所有视频及其对应的字幕。