S3D, S2D+T

Name: S3D, S2D+T
Creator: 法兰克福高等研究院,法兰克福,德国;计算机科学研究所,歌德大学法兰克福,法兰克福,德国;生理学研究所,转化神经科学重点计划,大学医学中心,约翰内斯·古腾堡大学-美因茨,美因茨,德国;机械工程系,锡根大学
Published: 2025-09-23T20:47:43+08:00

arXiv2025-09-23 更新2025-09-25 收录

神经科学

图像处理

数据链接：

https://github.com/pamelaosuna/SynapFlow 数据链接链接失效反馈

官方服务：

资源简介：

SynapFlow是一个模块化框架，旨在进行大规模的树突棘分析。该数据集由使用慢性活体双光子显微镜从GFP-M转基因小鼠的听觉皮层获得的3D图像堆叠组成。数据集包括S3D和S2D+T两个子集，分别用于检测和深度跟踪以及时间跟踪。S3D数据集包含2D边界框和3D树突棘身份，S2D+T数据集包含在四个时间点跟踪的树突棘。这些数据集用于验证和训练SynapFlow框架，以实现树突棘的自动检测、时间跟踪和特征提取。

SynapFlow is a modular framework developed for large-scale dendritic spine analysis. This dataset consists of 3D image stacks obtained from the auditory cortex of GFP-M transgenic mice using chronic in vivo two-photon microscopy. The dataset includes two subsets: S3D and S2D+T. S3D is dedicated to detection and depth tracking, while S2D+T is designed for temporal tracking. The S3D subset contains 2D bounding boxes and 3D dendritic spine identities, whereas the S2D+T subset holds dendritic spines tracked across four time points. These datasets are employed to validate and train the SynapFlow framework for automated dendritic spine detection, temporal tracking, and feature extraction.

提供机构：

法兰克福高等研究院,法兰克福,德国;计算机科学研究所,歌德大学法兰克福,法兰克福,德国;生理学研究所,转化神经科学重点计划,大学医学中心,约翰内斯·古腾堡大学-美因茨,美因茨,德国;机械工程系,锡根大学

创建时间：

2025-09-23

原始信息汇总

SynapFlow 数据集概述

数据集基本信息

数据集名称: SynapFlow
主要用途: 用于时间序列显微镜图像中树突棘的分析
核心功能: 提供模块化流程，包括树突棘检测、深度追踪、时间追踪、树突棘尺寸计算以及树突棘头到树突距离估计

数据集组成与结构

图像文件命名规范: 文件名必须以 _layerXXX.png 结尾，并进行零填充（例如 _layer01.png、_layer02.png）
图像格式要求: 必须为 8 位图像
检测输出组织方式: 每个文件夹包含一个堆栈的所有检测结果（即所有具有相同前缀 _layerXX 的图层）

数据处理流程

堆栈内配准

目的: 在堆栈内配准图像并计算最大/平均强度投影（MIP）
命令示例: bash python SynapFlow/register_within_volume.py --input "data/img/aidv001_tp1_stack0_layer*.png" --out_dir "data/img_registered" --downsample_factor 4

树突棘检测

目的: 预测每个图像中树突棘的边界框
命令示例: bash cd Spine-Detection-with-CNNs PYTHONPATH=src/ python src/spine_detection/predict_mmdet.py --input "data/img_registered/*.png" --model DefDETR --model_type Def_DETR --param_config lr_0.001_warmup_None_momentum_0.6_L2_3e-06_aug_SGD_S1A2_run1 --model_epoch epoch_54 --theta 0.5 --delta 0.5 --output output/dets --save_images --device cpu

深度追踪

目的: 在堆栈内跨图层整合二维检测结果
命令示例: bash PYTHONPATH=. python SynapFlow/depth_track.py --input_dir "output/dets/t1/csvs_mmdet/" --out_dir "output/depth_tracked_spatial/t1" --img_dir "data/img_registered/" --det_thresh 0.5 --track_thresh 0.0 --sp_cost 1.0 --app_cost 0.0 --draw

跨时间点对应关系计算

目的: 在两个最大强度投影之间生成密集对应场
命令示例: bash PYTHONPATH="$PYTHONPATH:$(pwd):$(pwd)/pump" python SynapFlow/compute_corres.py --source "data/img_registered/mips/aidv001_tp1_stack0.png" --target "data/img_registered/mips/aidv001_tp1_stack0.png" --out_dir "output/corres" --resize 256

时间追踪

目的: 使用第一个时间点的树突棘 ID 作为参考，跨一对时间点匹配树突棘
命令示例: bash PYTHONPATH=. python SynapFlow/time_track.py --input_t1 "output/depth_tracked_spatial/t1/aidv001_tp1_stack0.csv" --input_t2 "output/depth_tracked_spatial/t2/aidv001_tp2_stack0.csv" --mip_t1 "data/img_registered/mips/aidv001_tp1_stack0.png" --mip_t2 "data/img_registered/mips/aidv001_tp2_stack0.png" --corres_dir "output/corres" --img_dir "data/img_registered" --out_dir "output/time_tracked_spatial"

尺寸计算

目的: 计算给定时间点所有树突棘的尺寸
命令示例: bash PYTHONPATH=. python SynapFlow/compute_size.py --input_dir "output/depth_tracked_spatial/t1" --img_dir "data/img_registered" --out_dir "output/sizes" --operator_3d median

树突棘头到树突距离估计

目的: 估计树突棘头到树突连接点的欧几里得距离
命令示例: bash PYTHONPATH=. python SynapFlow/estimate_head2dend.py --input_dir "output/depth_tracked_spatial/t1" --img_dir "data/img_registered" --out_dir "output/distance_head2dend"

数据集状态

数据集: 即将推出
图形用户界面（GUI）: 正在开发中

搜集汇总

数据集介绍

构建方式

S3D与S2D+T数据集的构建基于活体双光子显微镜采集的3D图像数据，通过人工标注流程确保标注质量。S3D数据集对原始标注进行精细化处理，生成包含2D边界框和3D身份标识的标注信息，并排除形态模糊的树突直接覆盖区域以提升数据一致性。S2D+T数据集则针对时间序列分析需求，在四个时间点对树突棘进行多边形标注与形态特征量化，形成首个公开的跨时间追踪标注资源。

特点

该数据集的核心特点在于其多维度标注体系与生物学相关性。S3D数据集通过紧密贴合树突棘形态的边界框标注，解决了传统标注中树突区域过度包含的问题，同时提供跨深度层的身份关联信息。S2D+T数据集创新性地引入时间维度追踪标注，涵盖短期与长期成像时间点，并包含树突棘大小、树突距离等形态学量化指标。两类数据集共同构成覆盖空间结构与时间动态的互补性标注体系。

使用方法

数据集适用于模块化机器学习流程的验证与优化。S3D数据集主要用于训练和评估2D检测与深度追踪模块，通过边界框匹配和身份关联算法实现3D对象重构。S2D+T数据集则服务于时间追踪与形态特征分析模块的验证，利用稀疏标注策略评估跨时间身份一致性。研究者可分别或联合使用两类数据集，通过多目标追踪指标与特征相关性分析，系统性验证树突棘分析流程各环节的效能。

背景与挑战

背景概述

在神经科学领域，树突棘作为兴奋性突触的关键结构组成部分，其形态变化与学习记忆机制密切相关。2025年，由法兰克福高等研究院、歌德大学和美因茨大学医学中心等机构的研究团队联合发布了S3D与S2D+T数据集，旨在支持三维时序显微镜数据中树突棘的自动化检测与追踪研究。该数据集基于慢性活体双光子显微镜成像技术，通过对小鼠听觉皮层 GFP-M 转基因模型的图像进行精细标注，构建了包含二维边界框、三维身份标识及跨时间点追踪信息的标注体系。这一工作填补了树突棘动态分析中缺乏大规模时序标注数据的空白，为研究突触可塑性提供了重要基础。

当前挑战

树突棘分析面临双重挑战：在领域问题层面，微小结构的精准检测与跨时间点身份关联极为困难，尤其是树突棘在三维空间中的非刚性形变、重叠与遮挡现象会干扰追踪稳定性；在数据构建层面，手动标注需协调多维度信息（如深度切片对齐、时序一致性），且显微图像中脊柱形态多样、背景噪声复杂，导致标注一致性难以保证。此外，现有公开数据集多局限于静态二维标注，缺乏跨深度与时间的全局关联信息，限制了动态分析的可靠性。

常用场景

经典使用场景

在神经科学领域，S3D和S2D+T数据集为研究树突棘的动态变化提供了关键支持。这些数据集通过三维时间序列显微成像技术，捕捉了活体小鼠听觉皮层中树突棘的形态演变，成为分析突触可塑性与学习记忆机制的重要工具。其经典应用场景包括利用自动化检测模块识别二维切片中的树突棘，再通过深度追踪重建三维对象，最终实现跨时间点的身份关联，从而系统量化棘头大小、棘-树突距离等生物特征。

衍生相关工作

基于该数据集衍生的经典工作包括对Deformable DETR架构的适应性优化，使其在微小物体检测任务中表现卓越。后续研究进一步扩展了时空一致性匹配算法，如结合PUMP光流估计的形变场校正技术。此外，数据集催生了多目标追踪指标在神经形态分析中的创新应用，推动了TrackEval等评估工具在生物医学图像领域的跨学科迁移。

数据集最近研究