public-4dstem

ECLIPSE public 4D-STEM 是一个公开的4D扫描透射电子显微镜（4D-STEM）数据集集合。它汇集了来自其他研究组已发表的实验4D-STEM数据，并以统一的、无损压缩的HDF5格式（扩展名为.e4d）重新托管，且带有完整且经过验证的校准元数据。该数据集旨在为各种剂量范围内的重建、压缩和去噪方法提供基准测试平台，涵盖叠层衍射（ptychography）和纳米束衍射（nanobeam diffraction）两种模态。每个文件均保证无损性（原始数据与声明变换后的立方体完全一致）、校准完整性（能量、汇聚半角、扫描步长、探测器采样、扫描-探测器旋转、离焦量等参数均标明来源并经校验）以及剂量信息（标明是电子计数、原始探测器单位还是预处理值）。数据集中包含一个固定的基准感兴趣区域（benchmark_roi），便于进行可比较的基准测试。目录表列出了19个数据集，涉及多个材料体系（如STO、NNO、La3Ni2O7、PdCuSi、polySi、PdH、SiGe、NVdiamond、AlAu、UCNP、SAEP、PBTTT、AlSPED、MOF、apoF、MAPbI3、MoS2MoSe2、Sb2S3），剂量范围从约6 e/Ų到5.7e6 e/Ų，探测器包括Merlin Medipix3RX、EMPAD、Gatan K3、Dectris ELA、4D Camera、MerlinEM、Gatan CCD、Timepix3等，加速电压从80 kV到300 kV不等。数据文件按scan_y, scan_x, k_y, k_x的四维立方体存储，按扫描行分块，使用Blosc2 zstd + bitshuffle压缩。每个数据集可能有多个变体（如不同区域或实验条件）。所有数据集均要求引用原始出版物，本仓库仅作为统一格式的重新托管平台。ECLIPSE public 4D-STEM is a publicly available collection of 4D scanning transmission electron microscopy (4D-STEM) datasets. It compiles published experimental 4D-STEM data from other research groups and redistributes them in a unified, losslessly compressed HDF5 format (extension .e4d) with complete and validated calibration metadata. This dataset aims to provide a benchmark platform for reconstruction, compression, and denoising methods across various dose regimes, covering both ptychography and nanobeam diffraction modalities. Each file guarantees losslessness (the raw data is identical to the declared transformed cube), calibration completeness (energy, convergence semi-angle, scan step, detector sampling, scan-detector rotation, defocus, etc., are sourced and verified), and dose information (indicating whether it is electron counts, raw detector units, or preprocessed values). The dataset includes a fixed benchmark region of interest (benchmark_roi) to enable comparable benchmarks. The table of contents lists 19 datasets, covering multiple material systems (e.g., STO, NNO, La3Ni2O7, PdCuSi, polySi, PdH, SiGe, NVdiamond, AlAu, UCNP, SAEP, PBTTT, AlSPED, MOF, apoF, MAPbI3, MoS2MoSe2, Sb2S3), with dose ranges from approximately 6 e/Ų to 5.7e6 e/Ų, detectors including Merlin Medipix3RX, EMPAD, Gatan K3, Dectris ELA, 4D Camera, MerlinEM, Gatan CCD, Timepix3, etc., and accelerating voltages from 80 kV to 300 kV. Data files are stored as four-dimensional cubes (scan_y, scan_x, k_y, k_x), chunked along scan rows, and compressed using Blosc2 zstd + bitshuffle. Each dataset may have multiple variants (e.g., different regions or experimental conditions). All datasets require citation of the original publications; this repository serves only as a redistribution platform in a unified format.

原始信息汇总

ECLIPSE public 4D-STEM 数据集

数据集概述

• 名称：ECLIPSE public 4D-STEM
• 许可：other
• 标签：4d-stem、electron-microscopy、ptychography、electron-diffraction
• 内容：来自其他课题组的已发表实验性 4D-STEM 数据集，统一重托管为无损压缩的 HDF5 格式（e4d），包含完整且经验证的校准元数据，用于在宽剂量范围内（ptychography 与 nanobeam diffraction）对重建、压缩和去噪方法进行基准测试。
• 版权说明：每个数据集仍归原作者所有，使用时请引用原始出版物。

每个文件的保证

无损性

• 数据立方体等于原始原始数据在声明变换（如轴翻转、EMPAD 行裁剪，按数据集列于 cards/<id>.yaml）之后的结果；总计数经检查相等。

校准

• 包括能量、会聚半角、扫描步长、探测器采样 dk、扫描–探测器旋转、离焦，每项均标注来源（file、paper 或 fit）。
• 通过 scatterem 诊断对数据进行检查：明场盘半径须与 α/dk 在 5% 内匹配，在数据可判定的情况下质心旋度旋转须在 3° 内匹配。

剂量

• 声明剂量（来自 file / paper / estimate）并从计数中测量。signal 字段说明数值是电子计数、原始探测器单位（ADU）还是预处理（归一化）值。

基准 ROI

• 每个数据集具有固定的 benchmark_roi，用于可比较的基准测试。

数据集目录

id	modality	tasks	variants	声明剂量 (e/Ų)	测量剂量 (e/Ų)	signal	detector	kV	licence	GB	original DOI
Strauch2021_STO	ptycho	ptycho	1	5.7e+06 (paper)	5.72e+06	counts	Merlin Medipix3RX	300	CC-BY-4.0	0.13	10.1017/S1431927621012423
Harikrishnan2025_NNO	ptycho	ptycho	1	2.2e+06 (paper)	2.01e+06	counts	EMPAD	300	CC-BY-4.0	0.88	10.5281/zenodo.14954707
Dong2024_La3Ni2O7	ptycho	ptycho	3	9e+05 (estimate)	7.49e+05–7.87e+05	counts	Gatan K3 (energy-filtered)	300	CC-BY-4.0	0.57	10.1038/s41586-024-07482-1
Riechers2026_PdCuSi	nbed	amorphous	2	3e+05 (estimate)	6.38e+05–7.28e+05	counts	Dectris ELA	200	CC-BY-4.0	2.87	10.1016/j.jallcom.2026.186631
Kang2025_polySi	ptycho	ptycho	1	7.5e+05 (estimate)	5.68e+05	counts	Gatan K3	300	CC-BY-4.0	0.39	10.26599/NR.2025.94907398
Shi2025_PdH	ptycho	ptycho	3	2e+05–5e+05 (estimate/file)	2.07e+05–5.28e+05	adu	EMPAD	300	CC-BY-4.0	7.42	10.48550/arXiv.2508.11142
Sadri2024_STO	ptycho	ptycho, virtual_imaging	2	6.39–3.5e+05 (paper)	6.35–3.7e+05	counts	EMPAD	300	CC0-1.0	0.58	10.1038/s41524-024-01428-x
KP2025_cepstral_SiGe	nbed	strain, virtual_imaging	6	6.24e+03–6.24e+04 (estimate)	–	adu	EMPAD	300	CC-BY-4.0	4.74	10.48550/arXiv.2509.08321
Chen2025_NVdiamond	ptycho	ptycho	2	2e+05 (paper)	1.25e+05–1.33e+05	counts	Gatan K3 (energy-filtered)	300	CC-BY-4.0	0.82	10.1016/j.xinn.2025.101043
MillsZeltmann2022_AlAu	nbed	strain, virtual_imaging	1	6.71e+04 (estimate)	–	adu	Gatan K2-IS	300	CC-BY-4.0	0.08	10.1016/j.actamat.2023.118721
Ribet2024_UCNP	ptycho	ptycho	2	5e+03 (paper)	4.27e+03–4.98e+03	counts	4D Camera	300	CC-BY-4.0	0.51	10.1063/5.0207212
Zhang2025_SAEP	ptycho	ptycho	3	44–1.2e+03 (estimate/paper)	111–2.97e+03	counts	MerlinEM	300	CC-BY-4.0	0.26	10.48550/arXiv.2504.17501
Balhorn2022_PBTTT	nbed	virtual_imaging	1	156 (file)	–	adu	Gatan CCD (TitanX / NCEM)	300	CC-BY-4.0	0.91	10.1073/pnas.2204346119
Thronsen2022_AlSPED	sped	phase_map, acom	1	1e+03 (estimate)	–	normalized	MerlinEM 1S (Quantum Detectors)	200	CC-BY-4.0	4.02	10.1016/j.ultramic.2023.113861
Li2025_MOF	ptycho	ptycho	3	100 (paper)	98.9–116	adu	EMPAD	300	CC-BY-4.0	11.93	10.1038/s41467-025-55827-9
Kucukoglu2024_apoF	ptycho	ptycho	3	34 (paper)	–	adu	Dectris ELA	300	CC0-1.0	4.35	10.1101/2024.02.12.579607
Yuan2025_MAPbI3	ptycho	ptycho	3	11 (paper)	11–11	counts	Timepix3	200	CC-BY-4.0	0.03	10.1038/s41586-025-09693-6
Mireles2025_MoS2MoSe2	nbed	strain, virtual_imaging	1	9.94 (paper)	9.68	adu	EMPAD	80	CC-BY-4.0	3.70	10.1126/sciadv.adz7908
Wu2025_Sb2S3	nbed	acom, virtual_imaging	2	6.23 (estimate)	2.63–2.64	counts	Dectris Quadro (TESCAN Tensor)	100	CC-BY-4.0	2.42	10.1021/acsnano.5c04342

目录布局

• data/<id>/<id>[_<variant>].h5 — 数据立方体，形状 (scan_y, scan_x, k_y, k_x)，按扫描行分块，Blosc2 zstd + bitshuffle（需要 hdf5plugin）。大于 45 GB 的文件沿 scan_y 拆分为 .part-NN.h5。
• cards/<id>.yaml — 完整元数据卡片（同时以 /metadata.attrs[card_json] 嵌入每个文件）。
• reports/<id>/ — 验证报告（JSON）和预览（平均图案、virtual BF / ADF）。

加载方式

使用纯 h5py 加载

python import json, h5py, hdf5plugin with h5py.File(Strauch2021_STO.h5, r) as f: roi = f[data][32:96, 32:96] # 仅读取这些块 card = json.loads(f[metadata].attrs[card_json])

使用 scatterem 加载

python from scatterem.data.public.hub import Hub4DStem, list_datasets ptycho_low_dose = list_datasets(task=ptycho, dose=(1, 1e3)) ds = Hub4DStem(Strauch2021_STO, roi=benchmark) # Dataset4DStem

变体列表

• Harikrishnan2025_NNO：fig_4b
• Dong2024_La3Ni2O7：region01、region02、region03
• Riechers2026_PdCuSi：FQ_locC_scan2、SQ_locA_scan3
• Shi2025_PdH：challenge、non_superlattice_500k、superlattice_200k
• Sadri2024_STO：highmag_hd、lowmag_highangle_hd
• KP2025_cepstral_SiGe：a0p75_1ms、a1p6_1ms、a1p6_10ms、a2_10ms、a3_1ms、a3_10ms
• Chen2025_NVdiamond：fig_3、fig_4
• MillsZeltmann2022_AlAu：au_beforeHT
• Ribet2024_UCNP：pristine、defect
• Zhang2025_SAEP：beta、mil101、uio66_first
• Li2025_MOF：fig2_zrbtb、fig3_moss6、fig4_moss6
• Kucukoglu2024_apoF：pos_16、pos_40、pos_51
• Yuan2025_MAPbI3：fig3_scan0、fig3_scan1、fig3_scan2
• Wu2025_Sb2S3：prec0、prec1

引用信息（请引用原始工作）

Strauch2021_STO

Strauch et al., Live processing of momentum-resolved STEM data for first moment imaging and ptychography, Microsc. Microanal. (2021) DOI: 10.1017/S1431927621012423 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/5113449

Harikrishnan2025_NNO

Harikrishnan et al., Zenodo 14954707 (NNO multislice ptychography datasets) DOI: 10.5281/zenodo.14954707 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/14954707

Dong2024_La3Ni2O7

Dong et al., Visualization of oxygen vacancies and self-doped ligand holes in La3Ni2O7-δ, Nature 630, 847–852 (2024) DOI: 10.1038/s41586-024-07482-1 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/12807652

Riechers2026_PdCuSi

Riechers et al., Spatial distribution and connectivity of medium-range order signatures in a metallic glass probed with simulated and experimental 4DSTEM, J. Alloys Compd. (2026) DOI: 10.1016/j.jallcom.2026.186631 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/18549114

Kang2025_polySi

Kang et al., Thermal cycle impact on polycrystalline silicon: Direct observation of electrical properties degradation and interfacial nanocrystalline grain defects, Nano Research (2025) DOI: 10.26599/NR.2025.94907398 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/15089477

Shi2025_PdH

Shi et al., Electron Ptychography Images Hydrogen Atom Superlattices and 3D Inhomogeneities in Palladium Hydride Nanoparticles, arXiv:2508.11142 (2025) DOI: 10.48550/arXiv.2508.11142 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/21363131

Sadri2024_STO

Sadri et al., Unsupervised deep denoising for four-dimensional scanning transmission electron microscopy, npj Comput. Mater. 10, 243 (2024) DOI: 10.1038/s41524-024-01428-x · licence: CC0-1.0 · original data: https://doi.org/10.6084/m9.figshare.25815436

KP2025_cepstral_SiGe

Harikrishnan KP et al., Cepstral Strain Mapping for Small Pixel-Count Detectors, arXiv:2509.08321 (2025) DOI: 10.48550/arXiv.2509.08321 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/18065811

Chen2025_NVdiamond

Chen et al., Visualizing the Atomic Structure of Nitrogen-vacancy Color Center in Diamond by Multislice Electron Ptychography, The Innovation 7, 101043 (2025) DOI: 10.1016/j.xinn.2025.101043 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/14913471

MillsZeltmann2022_AlAu

Mills et al., Nanoscale mapping of point defect concentrations with 4D-STEM, Acta Materialia (2023) DOI: 10.1016/j.actamat.2023.118721 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/7041997

Ribet2024_UCNP

Ribet et al., Uncovering the three-dimensional structure of upconverting core–shell nanoparticles with multislice electron ptychography, Appl. Phys. Lett. (2024) DOI: 10.1063/5.0207212 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/10775819

Zhang2025_SAEP

Zhang et al., Surface morphology and thickness variation estimation of zeolites via electron ptychography, arXiv:2504.17501 (2025) DOI: 10.48550/arXiv.2504.17501 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/17709147

Balhorn2022_PBTTT

Balhorn et al., Closing the loop between microstructure and charge transport in conjugated polymers by combining microscopy and simulation, Proc. Natl. Acad. Sci. U.S.A. 119, e2204346119 (2022) DOI: 10.1073/pnas.2204346119 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/6585396

Thronsen2022_AlSPED

Thronsen et al., Scanning precession electron diffraction data analysis approaches for phase mapping of precipitates in aluminium alloys, Ultramicroscopy (2023) DOI: 10.1016/j.ultramic.2023.113861 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/6645396

Li2025_MOF

Li et al., Atomically resolved imaging of radiation-sensitive metal-organic frameworks via electron ptychography, Nat. Commun. 16 (2025) DOI: 10.1038/s41467-025-55827-9 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/13958144

Kucukoglu2024_apoF

Küçükoğlu et al., Low-dose cryo-electron ptychography of proteins at sub-nanometer resolution, bioRxiv (2024) DOI: 10.1101/2024.02.12.579607 · licence: CC0-1.0 · original data: https://www.ebi.ac.uk/empiar/EMPIAR-12236/

Yuan2025_MAPbI3

Yuan et al., Atomically resolved edges and defects in lead halide perovskites, Nature 647, 364–368 (2025) DOI: 10.1038/s41586-025-09693-6 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/11482208

Mireles2025_MoS2MoSe2

Mireles et al., Strain mapping of three-dimensionally structured two-dimensional materials, Sci. Adv. (2026) DOI: 10.1126/sciadv.adz7908 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/17246822

Wu2025_Sb2S3

Wu et al., Correlative and in situ microscopy investigation of phase transformation, crystal growth, and degradation of antimony sulfide thin films, ACS Nano (2025) DOI: 10.1021/acsnano.5c04342 · licence: CC-BY-4.0 · original data: https://zenodo.org/records/15536234

搜集汇总

数据集介绍

构建方式

在四维扫描透射电子显微镜（4D-STEM）领域，公开数据的稀缺与格式异构长期制约着重建算法的可复现评估。该数据集通过系统整合多个独立研究组已发表的实验数据，构建了一个统一的基准资源。所有数据被重新托管为无损压缩的HDF5格式（e4d），并附带经校验的完整校准元数据。构建过程中，原始数据仅进行轴翻转、探测器行裁剪等声明式变换，总计数经验证与原始数据一致，确保无损性。每个数据集均标注了剂量信息（来自原文、文件或估计值），并设定固定的基准感兴趣区域（benchmark_roi），以支持跨剂量范围的算法基准测试。

特点

该数据集的核心特色在于其统一性、完整性与可验证性。所有数据均以Blosc2 zstd结合bitshuffle压缩，分块存储，兼顾效率与读取灵活性。校准元数据涵盖能量、会聚半角、扫描步长、探测器采样dk、扫描-探测器旋转及离焦等参数，并明确标注每个字段的来源（文件、论文或拟合）。数据经散射诊断验证：明场圆盘半径与α/dk的偏差不超过5%，质心旋度旋转偏差在3°以内。数据集覆盖从低剂量（约6 e/Ų）到高剂量（约5.7×10⁶ e/Ų）的广泛范围，包含叠层成像、纳米束电子衍射及扫描旋进电子衍射等多种模态，适用于重建、压缩与去噪等任务。

使用方法

使用者可通过标准h5py库直接读取数据，结合hdf5plugin解压，并按需切片读取特定区域，避免全量加载。每个数据文件的元数据以JSON字符串形式嵌入，便于程序化解析。对于更高级的调用，scatterem库提供了便捷接口，支持按任务类型、剂量范围等条件筛选数据集，并直接加载基准感兴趣区域。数据按扫描行分块，大于45 GB的文件沿扫描方向分割为多个部分，便于分布式处理。所有数据均保留原始作者信息与许可协议，使用时需引用对应原始文献，确保学术规范。

背景与挑战

背景概述

四维扫描透射电子显微镜（4D-STEM）通过会聚电子束逐点扫描样品并在每个扫描位置记录完整的二维衍射图样，生成海量四维数据，为叠层成像、应变分析和虚拟成像等先进表征手段奠定了数据基础。ECLIPSE-Lab于近年构建了public-4D-STEM数据集，汇集Strauch、Dong、Chen等多个研究组已发表的实验数据，统一转换为无损压缩的e4d HDF5格式，并逐字段核验能量、会聚半角、扫描步长、探测器采样及扫描-探测器旋转等标定信息。该数据集覆盖从每平方埃数十电子至数百万电子的宽剂量范围，为重建、压缩与去噪方法的公平基准测试提供了标准化平台，推动了电子显微学数据驱动方法的发展。

当前挑战

该数据集所应对的核心领域问题在于突破4D-STEM数据在重建保真度、压缩效率与去噪性能上的协同优化瓶颈，其高维特性使计算资源与存储需求急剧攀升。构建过程中的挑战尤为突出：需在不损失原始信号的前提下统一异构探测器与采集条件，并精确标定能量、会聚半角、扫描步长、探测器采样、扫描-探测器旋转及离焦等参数，同时核验明场盘半径与标定值偏差不超过5%、质心旋度旋转角偏差不超过3°。此外，不同数据集的剂量标称不一致，部分仅能依据文件或论文估计，测量值与标称值间存在偏差，且信号类型涵盖电子计数、模数转换单元及归一化值，为跨数据集基准测试带来显著困难。

常用场景

经典使用场景

在电子显微学领域，四维扫描透射电子显微镜（4D-STEM）技术通过在扫描电子束的同时记录二维衍射图样，生成高维数据立方体，为材料微观结构表征提供了前所未有的信息维度。public-4dstem数据集汇聚了多个研究组的实验4D-STEM数据，并以统一的HDF5格式和完整的校准元数据重新托管，其最经典的使用场景是作为基准测试平台，用于评估和比较各种重建算法（如叠层衍射成像）、压缩方法和去噪技术，覆盖从低剂量到高剂量的广泛范围，尤其适用于纳米束衍射和叠层衍射成像任务。

实际应用

在实际应用中，public-4dstem数据集可用于材料科学、生物学和纳米技术等领域的微观结构分析，例如通过叠层衍射成像解析敏感材料的原子结构、利用虚拟成像技术映射应变分布、以及通过相位映射研究铝合金中的析出相。它还为工业界提供了测试和优化4D-STEM数据采集与分析流程的资源，有助于加速新材料开发和故障分析。

衍生相关工作

基于该数据集，研究人员已开展了一系列经典工作，包括开发无监督深度学习去噪方法（如Sadri2024_STO所展示）、基于倒易空间分析的应变映射技术（如KP2025_cepstral_SiGe）、以及针对敏感材料（如金属有机框架和蛋白质）的低剂量叠层衍射成像研究。这些工作不仅验证了数据集的多功能性，还催生了新的算法和工具，如scatterem库中的Hub4DStem接口，进一步扩展了4D-STEM的应用边界。