STimage-1K4M

STimage-1K4M是由北卡罗来纳大学教堂山分校创建的一个新颖数据集，旨在通过提供子图像的基因组特征来弥补现有医学图像-文本数据集中文本描述不足的问题。该数据集包含1,149张来自空间转录组学数据的空间转录图像，每张图像被分解成更小的子图像块，每个子图像块配有15,000至30,000维的基因表达数据。STimage-1K4M包含4,293,195对子图像和基因表达数据，提供了前所未有的粒度，为多模态数据分析和计算病理学中的创新应用铺平了道路。该数据集主要应用于研究组织的空间组织和理解细胞结构、基因活性与疾病和健康相关结果之间的复杂关系，旨在解决医学图像分析中详细描述不足的问题。

STimage-1K4M is a novel dataset developed by the University of North Carolina at Chapel Hill, designed to address the insufficient textual description problem in existing medical image-text datasets by providing genomic features of sub-images. This dataset contains 1,149 spatial transcriptomic images sourced from spatial transcriptomics data, each split into smaller sub-image patches, with each patch paired with gene expression data ranging from 15,000 to 30,000 dimensions. STimage-1K4M includes 4,293,195 pairs of sub-image patches and their corresponding gene expression data, offering unprecedented granularity and paving the way for innovative applications in multimodal data analysis and computational pathology. This dataset is primarily utilized to study the spatial organization of tissues and decipher the complex correlations between cellular structures, gene activity, and disease or health-related outcomes, aiming to resolve the gap of insufficient detailed descriptions in medical image analysis.

搜集汇总

数据集介绍

构建方式

STimage-1K4M数据集的构建过程严谨而系统，旨在弥合组织病理学图像与基因表达数据之间的鸿沟。研究团队从三大主流测序型空间转录组技术平台——Spatial Transcriptomics、Visium和VisiumHD中，系统收集了1,149张全切片图像。这些数据来源于公共数据库如GEO、10X Genomics数据集及多项已发表研究。每张切片被精细分割为数千个亚图块（sub-tile），每个亚图块与15,000至30,000维的高维基因表达谱一一对应，最终形成了4,293,195对图像-基因表达配对。针对不同平台间数据格式不统一、图像与坐标映射困难等挑战，团队进行了大量人工校验与处理，确保每个空间点的位置、半径及基因表达数据精确对齐，从而构建了一个高质量、可复用的多模态数据集。

使用方法

STimage-1K4M的使用方法灵活多样，主要面向多模态学习和计算病理学研究。研究者可将其作为对比学习训练数据，通过替换传统文本编码器为全连接神经网络，将基因表达数据作为监督信号，微调如CLIP或PLIP等预训练模型的图像编码器，从而提升对组织亚型的区分能力。具体任务包括基因表达预测、图像分辨率增强、空间聚类、细胞类型解卷积等。由于基因集在不同数据集间存在差异，建议按物种或组织类型进行子集划分，并采用高变基因（HVG）或重叠高变基因策略进行降维。数据集以标准格式提供组织病理学图像、空间坐标和基因表达矩阵，便于直接接入现有分析流程。

背景与挑战

背景概述

空间转录组学作为一项革命性技术，能够在保留组织空间背景的同时测量基因表达，为深入理解组织微环境、细胞通讯及疾病机制提供了前所未有的视角。然而，现有的大多数病理图像数据集仅依赖文本描述进行标注，难以充分捕捉组织切片中丰富而复杂的生物学信息。为弥合这一鸿沟，由北卡罗来纳大学教堂山分校的Jiawen Chen、Muqing Zhou、Wenrong Wu、Jinwei Zhang、Yun Li与Didong Li等研究人员于2024年构建了STimage-1K4M数据集。该数据集汇集了来自Spatial Transcriptomics、Visium与VisiumHD三种主流测序平台的1,149张空间转录组切片，将其分解为超过429万个子图像块，每个图像块均与15,000至30,000维的高维基因表达数据精确配对。这一开创性资源覆盖10个物种与50种组织类型，为多模态数据分析与计算病理学的创新发展奠定了坚实基础。

当前挑战

STimage-1K4M数据集在推动研究的同时也面临多重挑战。首先，高维基因表达数据的融入使得每个子图像块对应的数据维度激增至约20,000个通道，如何在保留空间连接性的同时有效分析这一超高维结构成为核心难题，亟需权衡样本规模与分辨率之间的最优平衡。其次，不同测序平台、物种及组织间基因表达谱存在显著差异，批次效应与跨物种基因组结构变异为数据整合与模型泛化带来了系统性偏差。此外，构建过程中遭遇了空间转录组数据共享标准不一致的障碍，许多数据集缺失对应的组织学图像，需通过人工校验与坐标映射确保基因表达与图像的精确对齐，这一繁琐过程对研究者的专业背景提出了极高要求。

常用场景

经典使用场景

在计算病理学领域，STimage-1K4M数据集为组织病理学图像与空间转录组基因表达数据的多模态联合分析提供了前所未有的细粒度资源。该数据集最经典的使用场景在于，将全切片组织病理图像分割为亚图块，并为每个亚图块配对高达15000至30000维的基因表达谱，从而实现了从形态表型到分子机制的跨尺度关联。研究者可基于此进行基因表达预测，即从组织学图像中推断局部转录组特征，进而替代部分昂贵的测序实验；同时，该数据集也广泛用于空间域检测与聚类分析，通过整合图像与转录组信息，精准识别不同组织区域的功能异质性与疾病相关亚结构。

解决学术问题

STimage-1K4M的构建直面了现有病理图像-文本数据集中文本描述过于简略、无法捕捉亚区域分子细节的核心困境。传统数据集仅提供如“癌”或“非癌”的粗粒度标签，忽略了肿瘤微环境中基因表达的复杂空间异质性。该数据集通过提供亚图块级别的高维基因表达注释，解决了空间转录组学研究中缺乏大规模、多物种、多组织类型配对图像-表达数据的瓶颈。这使研究者能够系统性地探索组织形态与基因活性之间的潜在映射关系，推动了对肿瘤浸润边界、细胞通讯网络及疾病进展机制的深入理解，为空间组学领域的可重复性研究与基准测试奠定了坚实基础。

实际应用

在临床转化与生物医学工程实践中，STimage-1K4M展现出广阔的应用前景。基于该数据集训练的深度学习模型可辅助病理学家在常规H&E染色切片上直接推测基因表达模式，从而在不增加分子检测成本的情况下，提供肿瘤分子分型、预后标志物筛选及治疗靶点定位的决策支持。例如，通过识别特定基因（如ERBB2）的过表达区域，模型能够辅助HER2阳性乳腺癌的精准诊断。此外，该数据集支持空间解卷积与细胞分割任务，可推断组织样本中不同细胞类型的比例与空间排布，为免疫微环境分析、药物反应预测及个性化医疗方案的制定提供了可操作的技术路径。

数据集最近研究

最新研究方向

在计算病理学领域，多模态数据集的构建正从传统的图像-文本对向更精细的分子层面延伸。STimage-1K4M数据集的出现，标志着空间转录组学与组织病理学图像的深度融合进入新阶段。该数据集通过将1,149张空间转录组学切片拆解为超过429万个子图块，并为每个图块匹配15,000至30,000维的基因表达谱，突破了传统文本注释的局限性。这一前沿研究方向聚焦于利用高维基因表达数据作为图像的分子级注释，推动基因表达预测、空间聚类、细胞解卷积以及超分辨率增强等任务的革新。当前热点事件包括利用对比学习框架（如CLIP和PLIP）在该数据集上进行微调，显著提升了对脑组织白质与皮层分层的区分能力。该数据集的意义在于弥合了视觉形态与转录组信息之间的鸿沟，为个性化医疗中组织微环境的精准解析提供了前所未有的数据基础，有望催生新一代的空间组学分析算法。

相关研究论文

• STimage-1K4M: A histopathology image-gene expression dataset for spatial transcriptomics

  北卡罗来纳大学教堂山分校 · 2024年