UniParser/UniEM-3M

--- license: mit task_categories: - image-to-text - text-to-image - image-segmentation tags: - electron_micrograph - Materials - microstructure - characterization - scientific_figure_understanding configs: - config_name: default data_files: - split: synthesized_data_structured_descriptions path: data/synthesized_data_structured_descriptions-* - split: synthesized_data_image_captions path: data/synthesized_data_image_captions-* dataset_info: features: - name: image dtype: image - name: attribute_description struct: - name: color_profile dtype: string - name: distribution dtype: string - name: layering dtype: string - name: microscopy_type dtype: string - name: morphology dtype: string - name: particle_density dtype: string - name: pixel_size_profile dtype: string - name: subject dtype: string - name: surface_texture dtype: string - name: full_caption dtype: string splits: - name: synthesized_data_structured_descriptions num_bytes: 13685770890.264 num_examples: 9106 - name: synthesized_data_image_captions num_bytes: 32591407248 num_examples: 19016 download_size: 46275971944 dataset_size: 46277178138.264 size_categories: - 10K<n<100K --- # UniEM-3M ## 📘 Dataset Summary UniEM-3M is the first large-scale multimodal electron microscopy (EM) dataset for instance-level microstructural understanding, which is proposed in our paper "[UniEM-3M: A Universal Electron Micrograph Dataset for Microstructural Segmentation and Generation](https://arxiv.org/abs/2508.16239)". It provides high-resolution electron micrographs with expert-curated annotations and textual descriptions, aiming to accelerate research in automated materials analysis and deep learning for materials science. The dataset addresses the scarcity of large-scale EM datasets by offering: - **5,091** high-resolution EM images - About **3 million instance segmentation labels** - **Image-level structural descriptions** disentangled by attributes - A **text-to-image diffusion model** trained on the full dataset --- ## 🚨 Important Notice At this stage, we are only releasing **the generative model—[UniEM-Gen](https://huggingface.co/NNNan/UniEM-Gen), the generated data and their corresponding textual descriptions**. The **real electron micrographs** and **instance segmentation annotations** will be released after our paper has completed peer review (currently under review). --- ## 🌐 Online Application We trained a **state-of-the-art instance segmentation model** for microstructural characterization on UniEM-3M, and further developed a **complete analysis software suite** based on this model. It is available as an online application here: 👉 [online application](https://www.bohrium.com/apps/uni-aims?tab=readme_link) --- ## 📂 Dataset Structure - **Currently released**: - **synthesized_data_structured_descriptions**: synthesized data with structured descriptions - **synthesized_data_image_captions**: synthesized data with natural language descriptions - **To be released** (after peer review): - Real EM images and corresponding descriptions - ~3M instance segmentation labels --- ## 🚀 Applications - Multimodal learning in materials science - Text-to-image generation with scientific fidelity - Instance segmentation of microstructures - Image captioning / attribute-aware description generation - Training and benchmarking deep learning models for EM data --- ## 📖 Citation If you use this dataset, please cite: ```bibtex @misc{wang2025uniem3muniversalelectronmicrograph, title={UniEM-3M: A Universal Electron Micrograph Dataset for Microstructural Segmentation and Generation}, author={Nan wang and Zhiyi Xia and Yiming Li and Shi Tang and Zuxin Fan and Xi Fang and Haoyi Tao and Xiaochen Cai and Guolin Ke and Linfeng Zhang and Yanhui Hong}, year={2025}, eprint={2508.16239}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2508.16239}, }license: MIT许可证 task_categories: - 图像到文本（image-to-text） - 文本到图像（text-to-image） - 图像分割（image-segmentation） tags: - 电子显微图（electron_micrograph） - 材料（Materials） - 微观结构（microstructure） - 表征（characterization） - 科学图像理解（scientific_figure_understanding） configs: - 配置名称：默认配置（default） data_files: - split: 合成数据结构化描述（synthesized_data_structured_descriptions） path: data/synthesized_data_structured_descriptions-* - split: 合成数据图像说明（synthesized_data_image_captions） path: data/synthesized_data_image_captions-* dataset_info: features: - 名称：图像（image） 数据类型：图像 - 名称：属性描述（attribute_description） 结构体： - 名称：色彩配置文件（color_profile） 数据类型：字符串 - 名称：分布（distribution） 数据类型：字符串 - 名称：层状结构（layering） 数据类型：字符串 - 名称：显微类型（microscopy_type） 数据类型：字符串 - 名称：形貌（morphology） 数据类型：字符串 - 名称：粒子密度（particle_density） 数据类型：字符串 - 名称：像素尺寸分布（pixel_size_profile） 数据类型：字符串 - 名称：主题（subject） 数据类型：字符串 - 名称：表面纹理（surface_texture） 数据类型：字符串 - 名称：完整说明文本（full_caption） 数据类型：字符串 splits: - 划分名称：合成数据结构化描述（synthesized_data_structured_descriptions） 字节数：13685770890.264 样本数：9106 - 划分名称：合成数据图像说明（synthesized_data_image_captions） 字节数：32591407248 样本数：19016 下载大小：46275971944 数据集总大小：46277178138.264 size_categories: - 10K<n<100K --- # UniEM-3M ## 📘 数据集概述 UniEM-3M是首个用于实例级微观结构理解的大规模多模态电子显微镜（EM）数据集，相关成果发表于论文《UniEM-3M: A Universal Electron Micrograph Dataset for Microstructural Segmentation and Generation》（https://arxiv.org/abs/2508.16239）。 本数据集提供经专家精心标注的高分辨率电子显微图与文本描述，旨在加速材料科学领域自动化材料分析与深度学习相关研究的发展。 本数据集通过提供以下内容，解决了大规模电子显微镜数据集稀缺的问题： - **5091张**高分辨率电子显微镜图像 - 约**300万个**实例分割标注 - 按属性解耦的**图像级结构描述** - 基于全数据集训练的**文本到图像扩散模型（text-to-image diffusion model）** --- ## 🚨 重要声明 现阶段，我们仅发布了**生成式模型——UniEM-Gen（https://huggingface.co/NNNan/UniEM-Gen）、生成数据及其对应的文本描述**。 **真实电子显微图**与**实例分割标注**将在论文完成同行评审（目前处于评审阶段）后发布。 --- ## 🌐 在线应用 我们基于UniEM-3M训练了一款用于微观结构表征的**当前最优实例分割模型**，并基于该模型开发了一套完整的分析软件套件。 该套件现已以在线应用的形式发布：👉 [在线应用程序](https://www.bohrium.com/apps/uni-aims?tab=readme_link) --- ## 📂 数据集结构 - **当前已发布**： - **合成数据结构化描述**：带有结构化描述的合成数据 - **合成数据图像说明**：带有自然语言描述的合成数据 - **待发布**（同行评审通过后）： - 真实电子显微镜图像及其对应描述 - 约300万个实例分割标注 --- ## 🚀 应用场景 - 材料科学领域的多模态学习 - 具备科学保真度的文本到图像生成 - 微观结构实例分割 - 图像字幕生成/属性感知描述生成 - 用于电子显微镜数据的深度学习模型训练与基准测试 --- ## 📖 引用格式 若您使用本数据集，请引用以下文献： bibtex @misc{wang2025uniem3muniversalelectronmicrograph, title={UniEM-3M: A Universal Electron Micrograph Dataset for Microstructural Segmentation and Generation}, author={Nan wang and Zhiyi Xia and Yiming Li and Shi Tang and Zuxin Fan and Xi Fang and Haoyi Tao and Xiaochen Cai and Guolin Ke and Linfeng Zhang and Yanhui Hong}, year={2025}, eprint={2508.16239}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2508.16239}, }

搜集汇总

数据集介绍

构建方式

UniEM-3M是首个面向实例级微结构理解的大规模多模态电子显微镜数据集。该数据集构建过程中，首先收集了5091张高分辨率电子显微镜图像，并邀请了材料科学领域的专家进行精细标注，生成了约300万个实例分割标签。为了增强数据的多模态特性，研究团队进一步为每张图像解耦了颜色分布、形貌、层状结构、显微类型等九大属性，形成了结构化的文本描述；同时，借助扩散生成模型合成了大量与真实图像语义一致的虚拟图像及其对应的自然语言描述，从而构建了包含结构化描述与自然语言描述两大子集的合成数据部分。目前公开发布的是合成数据子集，真实图像与分割标注将在论文评审完成后开放。

特点

该数据集的核心特点在于其大规模、多模态与专业化深度融合。一方面，数据集提供了约300万个实例级分割标注，为微结构表征的自动化分析提供了丰富的监督信号；另一方面，每张图像均附带解耦属性的结构化描述与自由形式的完整描述，使得模型能够同时学习视觉与文本之间的细粒度映射关系。此外，数据集依托材料科学领域专家的知识进行标注，确保了标注的专业性和准确性。合成数据与真实数据的结合，既扩大了数据规模，又保持了科学图像的保真度，为文本到图像生成、实例分割、图像描述生成等多模态学习任务提供了高质量的训练与评测基准。

使用方法

该数据集的使用方式灵活多样，适用于材料科学中的多种深度学习任务。用户可直接加载合成数据子集中的图像与结构化描述，用于训练属性感知的图像描述生成模型或微结构实例分割模型。针对文本到图像生成任务，数据集提供了与图像语义对齐的自然语言描述，可用于训练具有科学保真度的扩散模型。研究人员还可将结构化描述作为多模态输入，开展跨模态特征对齐研究。目前，基于该数据集训练的实例分割模型已封装为在线分析软件套件，用户可通过提供的在线应用直接进行微结构表征分析，无需本地部署，极大降低了使用门槛。

背景与挑战

背景概述

电子显微图像在材料科学中扮演着揭示微观结构的关键角色，然而，由于标注成本高昂和领域知识壁垒，大规模、高质量的电子显微图像数据集长期匮乏，限制了深度学习模型在材料微结构分析中的深入应用。2025年，由Nan Wang、Zhiyi Xia等来自多个机构的研究人员联合发布了UniEM-3M，这是首个面向实例级微结构理解的大规模多模态电子显微图像数据集。该数据集包含5091张高分辨率电子显微图像及约300万个实例分割标签，并创新性地解耦了图像级结构描述，为材料自动分析与深度学习提供了标准化基准。UniEM-3M的提出不仅填补了领域内数据稀缺的空白，还推动了多模态学习、文本到图像生成及实例分割等任务在材料科学中的交叉发展，其配套的在线分析平台与生成模型更展现了从研究到应用的完整闭环潜力。

当前挑战

UniEM-3M所面临的挑战源于材料微结构分析本身的复杂性与数据构建的艰巨性。在领域问题层面，电子显微图像中微结构形态多样、尺度多变且存在重叠与噪声，传统的图像分类或语义分割方法难以精准刻画实例级别的差异，亟需更细粒度的实例分割与属性感知描述能力。在数据构建过程中，挑战尤为突出：首先，获取真实电子显微图像需依赖昂贵设备与专业操作，数据采集成本极高；其次，实例级分割标注需要材料科学专家逐像素甄别，耗时费力且存在主观歧义；此外，为生成多模态描述，还需将复杂的微结构特征解耦为颜色分布、形貌、层状结构等属性，这一过程对领域知识的系统化提取提出了严苛要求。当前仅发布合成数据与生成模型，正是为规避隐私与标注争议，待同行评审通过后再释放真实图像与标注，以确保数据质量与学术严谨性。

常用场景

经典使用场景

UniEM-3M数据集作为首个面向实例级微观结构理解的大规模多模态电子显微镜数据集，其最经典的使用场景在于推动材料科学中的多模态学习与深度学习模型训练。该数据集提供了5091张高分辨率电子显微图像、约300万个实例分割标签以及图像级别的结构化属性描述，为训练和评估用于微观结构表征的实例分割模型、图像描述生成模型以及属性感知描述生成模型提供了标准化基准。研究者可基于此数据集开发能够同时理解图像语义与结构化属性的跨模态模型，从而实现对材料微观结构的精准解析与自动化分析。

实际应用

在实际应用中，UniEM-3M数据集催生了一整套面向微观结构表征的分析软件套件，并已部署为在线应用平台。基于该数据集训练出的最先进的实例分割模型，能够自动识别和分割电子显微图像中的颗粒、层状结构、孔隙等微观特征，极大减轻了材料科学家手动标注的工作负担。该平台可广泛应用于材料研发、失效分析、质量控制等工业场景，帮助工程师快速获取材料的定量微观结构信息，加速新型合金、陶瓷、聚合物等先进材料的开发与优化周期。同时，生成的合成数据与文本描述还可用于科学可视化与教学演示。

衍生相关工作

UniEM-3M数据集衍生了多项经典工作，其中最核心的是基于该数据集训练的文本到图像扩散模型UniEM-Gen，该模型能够在保持科学保真度的前提下生成高分辨率的电子显微图像，为数据增强和隐私保护场景提供了新思路。此外，研究者还基于该数据集开发了面向微观结构表征的实例分割模型，并进一步构建了完整的分析软件套件。这些工作不仅推动了生成式模型在材料科学中的落地，也启发了后续关于科学图像理解、跨模态属性推理以及小样本学习等方向的研究，形成了从数据构建、模型训练到应用部署的完整研究链条。