BOLD Moments Dataset

该数据集包含10个受试者对1,102个3秒视频的大脑反应。每个受试者观看了1,000个视频的训练集3次和102个视频的测试集10次。每个视频都由人工标注了15个对象标签、5个场景标签、5个动作标签、5个句子文本描述、1个口语转录、1个记忆分数和1个记忆衰减率。

This dataset comprises brain responses from 10 subjects to 1,102 three-second videos. Each subject viewed a training set of 1,000 videos three times and a test set of 102 videos ten times. Each video was manually annotated with 15 object labels, 5 scene labels, 5 action labels, 5 sentence text descriptions, 1 spoken transcription, 1 memory score, and 1 memory decay rate.

原始信息汇总

数据集概述

数据集名称

BOLD Moments Dataset

数据内容

• 包含10名受试者对1,102个3秒视频的大脑反应数据。
• 每个受试者对1,000个视频的训练集观看3次，对102个视频的测试集观看10次。
• 每个视频附有人工标注的15个物体标签、5个场景标签、5个动作标签、5个句子文本描述、1个口语转录、1个记忆分数和1个记忆衰减率。

数据结构

• 原始数据：位于主文件夹中，采用BIDS格式，未经过预处理。
• 衍生数据：位于derivatives/文件夹中，包括：
  • 刺激元数据（./derivatives/stimuli_metadata/annotations.json）
  • TSM ResNet50模型权重检查点
  • 来自两个不同fMRIPrep预处理管道的准备好的beta估计（./derivatives/versionA和./derivatives/versionB）

数据使用建议

• 推荐使用./derivatives/versionB/中的准备数据，因其具有更好的注册、使用GLMsingle以及在更多标准/非标准输出空间中的可用性。

数据集补充信息

• 刺激集及其衍生数据（如帧）需从GitHub仓库下载，地址为https://github.com/blahner/BOLDMomentsDataset。
• 代码和基本使用示例及数据集下载脚本可在https://github.com/blahner/BOLDMomentsDataset找到。
• TSM ResNet50模型的训练和推理代码可在https://github.com/pbw-Berwin/M4-pretrained找到。

搜集汇总

数据集介绍

构建方式

BOLD Moments Dataset的构建基于对10名受试者的大脑反应数据收集。每位受试者观看了1,102段3秒长的视频，其中1,000段视频用于训练，102段用于测试。训练视频每位受试者观看三次，测试视频则观看十次。每段视频均由人类标注了15个对象标签、5个场景标签、5个动作标签、5个句子描述、1个口头转录、1个记忆得分和1个记忆衰减率。数据集以BIDS格式存储，分为原始数据和衍生数据两部分。原始数据包括未经过预处理的脑成像数据，而衍生数据则包括经过预处理的刺激注释、模型权重检查点和准备好的beta估计。

特点

BOLD Moments Dataset的显著特点在于其丰富的视频注释和多样的数据衍生。每段视频不仅附有详细的标签和描述，还包含了记忆相关的量化指标。数据集的衍生部分提供了两种不同预处理管道的beta估计，分别为versionA和versionB，其中versionB因其更好的注册和使用GLMsingle而推荐使用。此外，数据集还提供了TSM ResNet50模型的训练权重检查点，便于研究人员进行进一步的模型训练和推理。

使用方法

使用BOLD Moments Dataset时，研究人员可选择下载原始数据或衍生数据。原始数据适用于希望自行运行预处理管道的用户，而衍生数据则提供了预处理后的刺激注释和模型权重。为了确保数据集的BIDS合规性，用户需从GitHub仓库下载刺激集并将其复制到数据集的父目录中。数据集的使用可通过提供的启动代码和数据下载脚本进行，这些代码展示了数据集的基本使用方法。此外，研究人员还可利用提供的TSM ResNet50模型训练和推理代码进行深入分析。

背景与挑战

背景概述

BOLD Moments Dataset是由一组研究人员创建的，旨在探索大脑对视觉刺激的响应机制。该数据集包含了10名受试者对1,102个3秒视频的脑部反应数据。每个受试者对1,000个训练视频进行了三次观看，而对102个测试视频进行了十次观看。此外，每个视频还附有人工标注的15个对象标签、5个场景标签、5个动作标签、5个句子文本描述、1个口语转录、1个记忆分数和1个记忆衰减率。该数据集的创建不仅为神经科学研究提供了丰富的数据资源，还为理解大脑如何处理和记忆视觉信息提供了新的视角。

当前挑战

BOLD Moments Dataset在构建过程中面临了多个挑战。首先，数据收集过程中涉及的复杂性，如受试者在不同时间点的头部移动和重新定位，需要精确的场图扫描和配对。其次，数据集的规模和多样性要求高效的预处理和分析工具，以确保数据的准确性和一致性。此外，数据集的开放性和合规性也是一个重要挑战，特别是在处理视频刺激的版权和许可问题上。最后，如何有效地利用数据集中的多模态信息，如视觉、听觉和文本数据，以提高模型的泛化能力和解释性，是当前研究中的一个关键问题。

常用场景

经典使用场景

BOLD Moments Dataset在神经科学领域中被广泛用于研究大脑对视觉刺激的响应机制。通过分析10名受试者对1,102个3秒视频的脑部反应，研究者可以深入探讨视觉信息如何在大脑中编码和处理。特别是，该数据集结合了视频的多维度标注（如对象、场景、动作、文本描述等），使得研究者能够探索不同类型的视觉信息如何影响大脑活动，从而为视觉认知和神经编码提供宝贵的数据支持。

实际应用

BOLD Moments Dataset在实际应用中具有广泛的前景。例如，它可以用于开发和验证基于神经影像的视觉信息处理模型，这些模型在虚拟现实、增强现实和人机交互等领域有重要应用。此外，数据集中的记忆相关信息可以用于研究记忆辅助工具的设计，帮助改善认知障碍患者的记忆功能。通过分析大脑对不同类型视觉刺激的反应，该数据集还为个性化医疗和心理治疗提供了新的研究方向。

衍生相关工作

BOLD Moments Dataset的发布催生了一系列相关研究工作。例如，基于该数据集，研究者开发了多种神经影像分析模型，如TSM ResNet50模型，用于预测大脑对视觉刺激的反应。此外，数据集的多维度标注信息激发了关于视觉信息多模态编码的研究，推动了跨模态神经影像分析的发展。这些衍生工作不仅丰富了神经科学的研究工具箱，还为跨学科研究提供了新的合作机会。