clane9/NSD-Flat

NSD-Flat是一个Hugging Face数据集，包含从Natural Scenes Dataset中预处理的大脑活动平面图，这些图被限制在视觉皮层感兴趣区域，并以PNG图像的形式呈现。数据集的特征包括subject_id、trial_id、session_id、nsd_id、image、activity、subject、flagged、BOLD5000、shared1000、coco_split、coco_id、objects、captions和repetitions等。数据集分为训练集和测试集，分别包含195,000和18,000个样本。数据集的构建过程包括下载源数据、转换COCO注释和生成数据集。

NSD-Flat is a Hugging Face dataset that provides preprocessed flat maps of brain activity extracted from the Natural Scenes Dataset. These maps are restricted to the regions of interest (ROIs) of the visual cortex and are presented in PNG image format. The dataset includes the following features: subject_id, trial_id, session_id, nsd_id, image, activity, subject, flagged, BOLD5000, shared1000, coco_split, coco_id, objects, captions, and repetitions. It is divided into training and test subsets, which contain 195,000 and 18,000 samples respectively. The construction process of the dataset includes downloading the source data, converting COCO annotations, and generating the dataset.

原始信息汇总

数据集概述

数据集名称

• NSD-Flat

数据集特征

• 基本特征:
  • subject_id: int64
  • trial_id: int64
  • session_id: int64
  • nsd_id: int64
  • image: image
  • activity: image
  • subject: string
  • flagged: bool
  • BOLD5000: bool
  • shared1000: bool
  • coco_split: string
  • coco_id: int64
• 对象结构:
  • objects: struct
    • area: sequence: int64
    • bbox: sequence: sequence: float64
    • category: sequence: string
    • iscrowd: sequence: int64
    • segmentation: list
      • counts: string
      • poly: sequence: sequence: float64
      • size: sequence: int64
    • supercategory: sequence: string
    • target: sequence: int64
• 重复结构:
  • repetitions: struct
    • subject1_rep0 to subject8_rep2: int64
• 描述:
  • 包含预处理的脑活动平面图，源自Natural Scenes Dataset，限定于视觉皮层感兴趣区域，并以PNG图像形式呈现。

数据集划分

• 训练集:
  • 大小: 26695182666.0 bytes
  • 样本数: 195000
• 测试集:
  • 大小: 2461280671.0 bytes
  • 样本数: 18000

下载与数据集大小

• 下载大小: 22565691383 bytes
• 数据集大小: 29156463337.0 bytes

任务类别

• image-to-image
• object-detection

标签

• biology
• neuroscience
• fmri

大小类别

• 100K<n<1M

许可证

• 遵循NSD Terms and Conditions

引用信息

• Allen et al. (2022):

  @article{allen2022massive, title = {A massive 7T fMRI dataset to bridge cognitive neuroscience and artificial intelligence}, author = {Allen, Emily J and others}, journal = {Nature neuroscience}, volume = {25}, number = {1}, pages = {116--126}, year = {2022}, publisher = {Nature Publishing Group US New York} }

• Lane (2023):

  @misc{lane2023nsdflat, author = {Connor Lane}, title = {NSD-Flat: Pre-processed brain activity flat maps from the Natural Scenes Dataset}, howpublished = {url{https://huggingface.co/datasets/clane9/NSD-Flat}}, year = {2023}, }

搜集汇总

数据集介绍

构建方式

NSD-Flat数据集的构建，首先从Natural Scenes Dataset获取源数据，包括刺激图像、呈现信息和COCO注释。接着，通过脚本对COCO注释进行裁剪和重新组织。最后，使用生成脚本来创建符合Huggingface Arrow格式的数据集，整个过程涵盖了数据清洗、格式转换和结构化处理。

特点

该数据集的特点在于，它包含了经预处理的大规模脑活动平面图，这些平面图是从视觉皮层兴趣区域生成的，并以PNG图像形式呈现。数据集还包含了丰富的元数据，如受试者ID、试验ID、会话ID、活动标签、是否标记为异常等，以及与对象相关的详细属性信息。

使用方法

使用NSD-Flat数据集，用户首先需要从Hugging Face Hub加载数据集。之后，可以通过Python脚本下载源数据、转换注释和生成数据集。加载后的数据集可以直接用于图像到图像的任务和对象检测任务，为认知神经科学和人工智能领域的研究提供了强大的数据支持。

背景与挑战

背景概述

NSD-Flat数据集是由Connor Lane等研究人员基于自然场景数据集（Natural Scenes Dataset）开发而成，旨在为认知神经科学与人工智能领域提供一种桥梁。该数据集包含了预处理后的大脑活动平面图，这些平面图是从视觉皮层感兴趣区域渲染为PNG图像的。其创建于2023年，并已在Hugging Face Hub平台上进行分享，便于研究人员进行相关研究。数据集的核心研究问题是将大脑活动与视觉场景相结合，以探索大脑处理自然场景的方式，对认知神经科学领域产生了重要影响。

当前挑战

该数据集在构建过程中面临的挑战主要包括：如何精确地从复杂的脑活动中提取出与视觉场景相关的信息，并将其转换为可用的图像格式；如何确保数据在预处理过程中保持其原有的生物学意义和神经科学价值；此外，数据集的构建还需考虑到大规模数据处理和存储的问题。在研究领域问题上，NSD-Flat数据集面临的挑战是如何有效地利用这些大脑活动平面图来推进图像识别、对象检测等任务的发展，以及如何将这些脑活动数据与传统的图像处理技术相结合，以开辟认知神经科学与计算机视觉交叉领域的新途径。

常用场景

经典使用场景

在神经科学和计算神经学领域，NSD-Flat数据集的典型应用场景是作为可视皮层区域脑活动平铺图的预处理器。该数据集通过将自然场景数据集（NSD）中的功能性磁共振成像（fMRI）活动约束在视觉皮层兴趣区域，并将其渲染为PNG图像，为研究人员提供了一种直观且易于处理的格式，以探索大脑对自然场景的反应模式。

实际应用

在实际应用中，NSD-Flat数据集被广泛用于脑机接口、图像识别和神经康复等领域。例如，在脑机接口研究中，数据集可以帮助开发更精准的解码算法，将大脑活动转换为相应的指令。在图像识别领域，数据集可用于训练模型，使其能够理解和预测人类对视觉刺激的反应。在神经康复中，该数据集有助于监测和评估患者的视觉处理能力。

衍生相关工作

NSD-Flat数据集的发布催生了多项相关研究工作。其中包括对数据集进行深度学习模型训练，以预测大脑活动模式；利用数据集进行大脑活动与视觉刺激之间的关联性研究；以及基于数据集开发新的脑活动分析工具。这些衍生工作进一步扩展了NSD-Flat数据集的应用范围，为神经科学和人工智能领域的交叉研究提供了宝贵的资源。