fMRI-3D

fMRI-3D数据集由复旦大学创建，旨在通过功能性磁共振成像（fMRI）数据重建3D视觉信息。该数据集包含来自15名参与者的4768个3D对象，分为fMRI-Shape和fMRI-Objaverse两个部分。数据集通过360度视频展示3D对象，捕捉参与者的大脑活动，以收集高质量的fMRI信号。创建过程中，参与者观看ShapeNet和Objaverse中的3D对象视频，确保全面的空间特征记录。该数据集主要应用于认知神经科学和计算机视觉领域，旨在解决从fMRI信号中解码和重建3D视觉信息的问题。

The fMRI-3D dataset, developed by Fudan University, targets reconstructing 3D visual information using functional magnetic resonance imaging (fMRI) data. This dataset includes 4,768 3D objects from 15 participants, and is split into two subsets: fMRI-Shape and fMRI-Objaverse. The dataset presents 3D objects via 360-degree videos, while capturing the participants' brain activities to collect high-quality fMRI signals. During the dataset construction, participants watched videos of 3D objects from ShapeNet and Objaverse, ensuring comprehensive recording of spatial features. This dataset is primarily applied in the fields of cognitive neuroscience and computer vision, aiming to address the problem of decoding and reconstructing 3D visual information from fMRI signals.

原始信息汇总

fMRI-Objaverse

概述

fMRI-Objaverse 是一个扩展数据集，用于 fMRI-Shape。

引用

如果您发现我们的数据集对您的研究和应用有帮助，请使用以下 BibTeX 引用：

@misc{gao2024fmri3dcomprehensivedatasetenhancing, title={fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction}, author={Jianxiong Gao and Yuqian Fu and Yun Wang and Xuelin Qian and Jianfeng Feng and Yanwei Fu}, year={2024}, eprint={2409.11315}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2409.11315}, }

搜集汇总

数据集介绍

构建方式

fMRI-3D数据集的构建过程融合了多模态数据，包括来自15名参与者的功能性磁共振成像（fMRI）数据和4,768个3D对象的视觉刺激。该数据集由两个主要部分组成：fMRI-Shape和fMRI-Objaverse。fMRI-Shape数据集包含14名参与者和1,624个3D对象，而fMRI-Objaverse则引入了5名新参与者，其中4名与fMRI-Shape中的核心集参与者重叠，提供了3,142个3D对象，涵盖117个类别，并附有文本描述。在数据收集过程中，参与者通过360度视图视频观看3D对象，确保了数据的全面性和高质量。

特点

fMRI-3D数据集的显著特点在于其多模态数据的丰富性和多样性。该数据集不仅包含了大量的3D对象和详细的文本描述，还通过360度视图视频捕捉了参与者对3D对象的全面视觉体验。此外，数据集中的参与者重叠设计增强了数据集的内部一致性和外部扩展性，为跨参与者研究提供了坚实的基础。这些特点使得fMRI-3D数据集在研究大脑对3D视觉信息的处理和重建方面具有独特的优势。

使用方法

fMRI-3D数据集的使用方法多样，适用于多种实验设置和研究目的。研究者可以利用该数据集进行功能性磁共振成像（fMRI）信号的解码和3D视觉信息的重建研究。具体而言，数据集可以用于训练和验证新的神经解码模型，如MinD-3D框架，该框架通过提取和聚合fMRI数据中的特征，生成视觉特征，并最终重建3D对象。此外，数据集还可以用于评估模型在分布外（Out-of-Distribution）设置下的性能，以及分析不同参与者间的大脑活动模式差异。

背景与挑战

背景概述

fMRI-3D数据集由复旦大学的Jianxiong Gao、Yuqian Fu、Yun Wang、Xuelin Qian、Jianfeng Feng和Yanwei Fu等人于2015年创建。该数据集旨在通过功能性磁共振成像（fMRI）数据重建三维视觉信息，这一任务在认知神经科学和计算机视觉领域具有重要意义。fMRI-3D数据集包括来自15名参与者的数据，展示了4,768个三维对象，分为两个主要部分：fMRI-Shape和fMRI-Objaverse。该数据集的创建不仅填补了fMRI数据与三维视觉数据配对的空白，还通过引入MinD-3D框架，提出了一种从fMRI信号中解码三维视觉信息的新方法，推动了相关领域的发展。

当前挑战

fMRI-3D数据集在构建过程中面临多个挑战。首先，从fMRI信号中重建三维视觉信息是一个复杂且多层次的任务，需要同时捕捉语义特征和空间结构特征。其次，数据集的构建涉及大量参与者和高维数据的处理，确保数据的多样性和高质量是一个重要挑战。此外，如何有效地将fMRI信号与三维视觉信息对齐，并设计出能够准确解码这些信息的模型，也是该数据集面临的关键问题。最后，由于不同参与者的大脑活动模式存在显著差异，如何在个体差异较大的情况下实现模型的泛化能力，是fMRI-3D数据集需要解决的重要挑战。

常用场景

经典使用场景

在认知神经科学和计算机视觉领域，fMRI-3D数据集的经典应用场景主要集中在从功能性磁共振成像（fMRI）信号中重建三维视觉信息。该数据集通过收集15名参与者的fMRI数据，展示了4,768个三维对象，为研究大脑如何处理和表征三维视觉信息提供了丰富的资源。研究者利用该数据集开发了MinD-3D框架，通过神经融合编码器提取fMRI信号中的特征，并使用特征桥扩散模型生成视觉特征，最终通过生成变换器解码器重建三维对象。这一过程不仅推动了三维视觉重建技术的发展，还深化了对人类大脑处理三维视觉信息的理解。

衍生相关工作

fMRI-3D数据集的发布催生了一系列相关研究工作。首先，基于该数据集，研究者开发了多种神经解码模型，如MinD-3D框架，这些模型在三维视觉重建任务中表现出色。其次，该数据集促进了跨学科研究，特别是在认知神经科学与计算机视觉的交叉领域，推动了新的理论和方法的发展。此外，fMRI-3D数据集还激发了在其他感官模式（如听觉和触觉）中进行类似研究的兴趣，为多模态神经解码提供了新的方向。最后，该数据集的成功应用也为其他大规模神经影像数据集的开发和应用提供了宝贵的经验和参考。

数据集最近研究

最新研究方向

在认知神经科学和计算机视觉的交叉领域，fMRI-3D数据集的最新研究方向聚焦于从功能性磁共振成像（fMRI）信号中重建三维视觉信息。这一研究不仅推动了神经科学对大脑处理三维视觉信息机制的理解，也为计算机视觉领域提供了新的数据资源和算法挑战。通过引入fMRI-Objaverse数据集，研究者们显著增强了数据集的多样性和应用潜力，同时提出了MinD-3D框架，该框架通过神经融合编码器、特征桥扩散模型和生成变换器解码器的三阶段设计，实现了从fMRI信号到三维对象的高精度重建。这一研究方向不仅在语义和结构层面上设定了新的基准，还通过在分布外设置中的有效性评估，深化了对人类大脑处理三维视觉信息的理解。

相关研究论文

• fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction

  复旦大学 · 2024年