NSF Future Manufacturing Data Challenge: A Multimodal DED Dataset for Probabilistic Representation and Prediction of Laser-Track Geometry

本数据集是由德克萨斯农工大学为美国国家科学基金会未来制造数据挑战赛创建的多模态定向能量沉积（DED）数据集，旨在支持激光轨迹局部几何变异的概率性预测研究。该数据集包含四种激光功率条件下在316L不锈钢基板上生成的单道扫描数据，核心由三种互补模态构成：来自Stratonics ThermaViz熔池传感器的原位热图像序列、利用蔡司EVO MA10系统获取的扫描电子显微镜（SEM）图像，以及通过布鲁克ContourGT-K白光3D光学轮廓仪采集的全场高度图，数据总量涵盖四个独立实验轨道，并提供了统一的20-100毫米物理坐标对齐框架。数据集通过精密实验平台采集，专注于剥离粉末流动影响，以探究激光-材料相互作用和重凝固行为，主要应用于先进制造领域，特别是增材制造的过程监控、质量预测与智能化控制，致力于解决激光沉积过程中局部几何特征随工艺参数和基板形态动态演变的量化建模难题。This multimodal Directed Energy Deposition (DED) dataset was developed by Texas A&M University for the U.S. National Science Foundation Future Manufacturing Data Challenge, aiming to support research on probabilistic prediction of local geometric variations in laser trajectories. The dataset contains four single-pass scanning datasets generated on 316L stainless steel substrates under four laser power conditions. Its core is composed of three complementary modalities: in-situ thermal image sequences from the Stratonics ThermaViz molten pool sensor, scanning electron microscope (SEM) images acquired using the Zeiss EVO MA10 system, and full-field height maps collected via the Bruker ContourGT-K white-light 3D optical profilometer. The full dataset covers four independent experimental runs, and provides a unified physical coordinate alignment framework spanning 20–100 mm. Collected through a precision experimental platform, this dataset is designed to isolate the effects of powder flow to explore laser-material interactions and re-solidification behavior. It is mainly applied in the field of advanced manufacturing, particularly for process monitoring, quality prediction and intelligent control of additive manufacturing, and is dedicated to solving the quantitative modeling challenge of the dynamic evolution of local geometric features during laser deposition driven by process parameters and substrate morphology.

搜集汇总

数据集介绍

构建方式

本数据集面向增材制造中定向能量沉积（DED）工艺的局部几何不确定性预测问题，系统采集了在不同激光功率（200、300、350、400 W）和固定扫描速度（10 mm/s）条件下，于316L不锈钢基板上制备的单道激光熔覆轨迹的多元模态数据。数据采集依托Optomec LENS MTS 500混合平台完成，整合了三种互补的传感模态：原位热图像序列由Stratonics ThermaViz熔池传感器以50帧/秒采集，扫描电子显微镜（SEM）图像通过Zeiss EVO MA10系统获取，全视野高度图则由Bruker ContourGT-K白光三维光学轮廓仪测量获得。所有模态基于20–100 mm的物理坐标窗口进行对齐，并提供了统一的多模态坐标转换约定。原始数据存储于Zenodo，配套的交互式笔记本、可复用代码及文档发布在GitHub仓库中。

特点

该数据集的核心特点在于其多模态协同与空间精细化的设计理念。热图像序列以14 µm/pixel的高分辨率捕捉熔池动态及其热场演变，为驱动过程变异提供了时间解析的视角。SEM图像以未拼接的瓷砖形式呈现，旨在描述基板表面局部谷峰、波纹等形貌特征，而不泄漏最终轨迹的几何信息。高度图以480×20000点左右的高密度网格记录轨迹三维轮廓，支持提取局部宽度、边缘位置等精细几何描述符。数据集专门强调局部几何建模，要求参与者基于对应物理坐标的局部输入变量，预测随空间变化的轨迹形貌，这突破了传统仅关注全局平均宽度的范式。

使用方法

参与者需利用给定物理坐标x处的热图像段T_i,t−k:t+k、SEM上下文图像S_i以及完整高度图Y_i，建模局部几何描述符p(g_i(x) | T_i,t−k:t+k, S_i, x)，其中g_i(x)可指代局部宽度、左右边界位置、轮廓偏差等。建议将21号轨迹作为留出测试集以评估模型鲁棒性，该轨迹因轮廓仪采集故障后缀数据覆盖不完整，尤其适合检验算法对缺失数据的适应能力。评价指标可包括局部宽度的平均绝对误差、边界位置误差，以及概率预测的负对数似然或连续排序概率得分。数据集中不包含隐藏标签，参与者应采用交叉轨迹验证，并可自由使用手工特征、序列模型或多模态融合方法，但需报告输入信息与物理轨迹坐标的对齐方式。

背景与挑战

背景概述

激光定向能量沉积（DED）增材制造过程中，熔道几何形貌的精确预测是保障构件质量的关键瓶颈。2026年，美国德州农工大学Bukkapatnam教授团队受国家科学基金会未来制造项目资助，发布了面向概率表示与预测的多模态DED数据集。该数据集聚焦316L不锈钢基板上单道熔道几何特征在空间维度上的非均匀演化，整合了原位热成像序列、扫描电镜图像与白光干涉三维形貌图三种互补模态，为刻画工艺热历史与基板状态对熔道局部几何的耦合影响提供了标准化数据平台。其发布标志着制造过程监控从经验调控向数据驱动概率建模的重要跨越，对推动增材制造数字孪生与智能工艺优化具有里程碑意义。

当前挑战

该数据集所解决的领域挑战在于突破传统单值全局宽度预测框架，建立融合多源异质信息的局部几何概率表征模型。构建过程中面临三大核心难题：首先，热像序列（50fps）、SEM图像（约6.41mm/帧）与三维形貌图（微米级精度）需在20–100mm物理窗口内实现亚毫米级跨模态空间对准，技术复杂度极高。其次，熔道形成受熔池动力学、散热条件及基板预存形貌的时空耦合影响，导致局部几何呈现显著异方差性，要求模型具备概率输出能力。最后，实验仅包含四种激光功率条件（200–400W）及有限扫描速度，如何在数据稀缺背景下设计稳健的跨道验证协议（如将缺失部分高度图数据的Track21作为测试集），并避免SEM数据泄露最终熔道外观信息，构成了算法泛化性与物理一致性的双重挑战。

常用场景

经典使用场景

在增材制造领域，定向能量沉积（DED）过程中激光轨迹的几何形貌预测是工艺优化与质量监控的核心挑战。该数据集整合了原位热图像序列、扫描电子显微镜图像以及全场高度图三种模态信息，为研究激光-材料交互作用下熔池热历史与基底形貌对轨迹局部几何特征的耦合影响提供了标准化实验平台。其经典使用场景在于驱动多模态融合的概率模型，以预测单道激光轨迹沿扫描方向的局部宽度、边界波动、轮廓偏差等几何描述子，从而将轨迹形貌从全局平均值的粗粒度刻画提升至空间可变的细粒度概率表征。

实际应用

在实际工业生产中，该数据集直接服务于DED制造件质量保障体系的构建。通过训练能够基于在线热信号实时预测轨迹几何变异性的智能模型，企业可在打印过程中动态调整激光参数或路径规划，从而有效抑制局部缺陷的产生，降低后续精密加工成本。同时，该数据集支持开发面向异质基底表面（如修复与再制造场景）的自适应控制算法，使DED系统能够感知并补偿基底状态差异带来的几何失真。此外，融合扫描电镜形貌与高度图的非接触式检测系统，可被部署为闭环反馈中的在线质量评估模块，助力实现增材制造过程从经验试错向数据驱动精密调控的范式转型。

衍生相关工作

该数据集的发布催生了一系列具有深远影响的衍生研究工作。在方法层面，基于高分辨率热图像与高度图的对齐技术被拓展至多模态序列融合框架，从而实现了工艺特征与最终形貌之间的端到端概率映射。另有关键工作借鉴了多损失自动编码器的解耦学习思路，从高度图中分离出纹波、波度与粗糙度等形貌基元，为理解DED表面异质结构的形成机制提供了可解释的表示方法。在应用层面，可解释多模态传感器融合策略被成功迁移至混合DED过程的孔隙率预测任务，促使工艺监控从单模态信号分析迈向了多源证据推理的新阶段。围绕该数据集形成的工具链与基准模型，已成为增材制造数据驱动研究的标准参照系。