半导体晶圆缺陷智能检测多模态分析数据主要应用于半导体集成电路制造领域的晶圆缺陷检测与质量控制场景,适用于半导体制造企业、设备厂商、科研机构等具备多模态大模型训练能力的单位。通过Qwen-VL多模态大模型对晶圆测试阶段产生的Wafer Map图像进行缺陷智能分析,针对晶圆表面存在多种缺陷模式的情况,输出缺陷的整体形态、结构特征、位置分布及密度特征等多维度描述,判断每种缺陷模式的具体类型和分布范围,实现从人工目检到自动化智能检测的转型,提高良率分析人员和失效分析工程师的缺陷定位效率,提升异常根因分析的精准度。本数据集所使用的晶圆图(Wafer Map)图像由本单位自行采集生成,来源清晰无争议。晶圆图是半导体制造过程中用于记录晶圆表面缺陷分布情况的二维可视化图像,其中绿色区域表示正常背景,红色点表示缺陷标记,能够直观反映晶圆表面的缺陷模式与分布特征。共计约3197张,图像尺寸统一为384×384像素,格式为PNG。
具体处理步骤:
步骤1:数据准备。对3197张晶圆图进行整理与预处理,确保图像质量与格式统一。
步骤2:初始标注生成。采用Qwen-VL视觉语言大模型作为基座模型,对晶圆图进行初步视觉分析,生成包含整体形态、结构特征、位置分布、密度特征等维度的缺陷描述。
步骤3:人工审核修正。由半导体领域专业技术人员对模型生成的描述进行审核,修正不准确或不完整的内容,确保标注的专业性与可靠性。
步骤4:格式转换与结构化。将审核后的图文数据转换为JSON对话格式,构建多轮对话结构:user角色输入晶圆图及分析任务,assistant角色输出多维缺陷描述,形成标准化的多模态训练数据。
基于上述处理流程形成的3197条多模态对话数据,可直接用于多模态大模型的微调训练,使通用视觉语言模型获得晶圆缺陷的专业分析能力;也可作为半导体AI检测领域的标准数据集,支撑模型评估、算法研发与系统部署;同时可为半导体制造企业、设备厂商及科研机构提供数据基础,用于构建晶圆缺陷自动检测与智能分析系统。
晶圆图相似缺陷模式图像匹配检索数据该数据用于进行同类别之间的相似性比对。通过度量学习将Wafer Map图像映射至低维嵌入空间进行相似性比对,主要应用于半导体集成电路制造领域的跨批次历史案例检索与问题追溯场景,针对历史数据库中跨批次同类失效模式的快速检索需求,以当前晶圆图像为条件检索具有相似失效空间分布的历史案例,判断当前异常是否为已知问题复发并提供历史处置记录,实现跨批次同类问题的快速关联与经验复用,有效提高工艺追溯人员和良率工程师的历史案例查找效率,缩短异常诊断时间。针对Wafer Map图像相似模式匹配与检索任务,采用度量学习将图像映射至低维嵌入空间,通过嵌入向量相似度实现以图搜图及相似图像归组,具体步骤如下:
步骤1:对于每张输入图像,将输入图像缩放至224×224分辨率,像素值归一化至[0,1]区间,采用标准化处理使各通道均值为0、方差为1,采用随机水平翻转、随机旋转(-10°~10°)等数据增强策略。
步骤2:采用ImageNet预训练的ResNet-50作为骨干网络,移除原始分类层,在全局平均池化层后接入嵌入层(2048→256),输出256维嵌入向量并进行L2归一化。
步骤3:采用Triplet Loss作为损失函数,每批次随机选取P=16个类别、每类K=4张图像构建三元组,margin=0.5。结合中心损失辅助缩小类内距离,总损失为Triplet Loss与Center Loss的加权和(1:0.01)。
步骤4:优化器选择Adam,学习率0.0001,权重衰减1e-4,批次大小64,按8:2划分训练集和验证集,训练150轮,验证集平均精度均值连续10轮不升时提前停止。
步骤5:对查询图像提取嵌入向量,计算余弦相似度返回top-5相似图像。
步骤6:输出查询图像对应的top5_images(top-5相似图像列表)及top5_scores(top-5相似度分数)。
对于每张图找到前top-5的相似数据后,可以认为这组具有较高相似度分数的相似的wafermap图是由同一根因导致的失效,便于产线进行后续的根因分析及根因追溯。
晶圆图相似缺陷模式图像匹配检索数据该数据用于进行同类别之间的相似性比对。通过度量学习将Wafer Map图像映射至低维嵌入空间进行相似性比对,主要应用于半导体集成电路制造领域的跨批次历史案例检索与问题追溯场景,针对历史数据库中跨批次同类失效模式的快速检索需求,以当前晶圆图像为条件检索具有相似失效空间分布的历史案例,判断当前异常是否为已知问题复发并提供历史处置记录,实现跨批次同类问题的快速关联与经验复用,有效提高工艺追溯人员和良率工程师的历史案例查找效率,缩短异常诊断时间。
晶圆图缺陷模式无监督聚类分析数据该数据用于直接通过预训练特征提取结合DBSCAN密度聚类算法,对大量未标注的Wafer Map图像进行无监督聚类分析,主要应用于半导体集成电路制造领域的工艺窗口监控与未知pattern发现场景。在晶圆厂中,针对产线中可能出现的新型或混合型未知pattern,可进行聚类将分布相似的晶圆自动归为同一群组,判断异常批次中是否存在共性空间特征,实现工艺窗口的主动监控与早期预警,有效提高工艺监控工程师和良率管理人员的异常模式识别效率,及时发现产线潜在偏移风险。
晶圆图缺陷图像目标检测训练数据该数据用于训练晶圆图缺陷图像目标检测模型。通过YOLO目标检测模型对晶圆测试阶段产生的Wafer Map图像进行缺陷模式检测,主要应用于半导体集成电路制造领域的晶圆良率分析与失效定位场景,晶圆厂通过训练该模型,可针对晶圆表面可能同时存在多种失效模式的情况,输出各失效模式所在区域的包围框坐标及类别,判断每种缺陷模式的具体位置和分布范围,实现工艺溯源的排查范围从整片晶圆缩小至特定局部区域,提高良率分析人员和失效分析工程师的异常定位效率,提升异常根因分析的精准度。
高精度晶圆表面缺陷分类训练数据该数据集用于训练高精度晶圆表面缺陷分类模型,通过深度可分离卷积神经网络模型对晶圆测试阶段产生的Wafer Map图像进行缺陷模式自动分类,主要应用于半导体集成电路制造领域的晶圆良率分析与工艺异常排查场景。晶圆厂通过该训练模型对晶圆表面失效芯片的空间分布特征进行识别,识别出ring(环形)、scratch(划痕)、edge(边缘)、center(中心)、cluster(局部聚簇)、random(随机)等典型pattern(缺陷模式或缺陷类型),判断当前晶圆所属的缺陷类型及置信度,实现异常工艺环节的快速定位,有效提高良率工程师和工艺工程师的问题溯源效率,缩短异常排查时间,降低因工艺偏移导致的批量报废风险。
半导体晶圆缺陷智能检测多模态分析数据主要应用于半导体集成电路制造领域的晶圆缺陷检测与质量控制场景,适用于半导体制造企业、设备厂商、科研机构等具备多模态大模型训练能力的单位。通过Qwen-VL多模态大模型对晶圆测试阶段产生的Wafer Map图像进行缺陷智能分析,针对晶圆表面存在多种缺陷模式的情况,输出缺陷的整体形态、结构特征、位置分布及密度特征等多维度描述,判断每种缺陷模式的具体类型和分布范围,实现从人工目检到自动化智能检测的转型,提高良率分析人员和失效分析工程师的缺陷定位效率,提升异常根因分析的精准度。
晶圆图缺陷模式无监督聚类分析数据该数据用于直接通过预训练特征提取结合DBSCAN密度聚类算法,对大量未标注的Wafer Map图像进行无监督聚类分析,主要应用于半导体集成电路制造领域的工艺窗口监控与未知pattern发现场景。在晶圆厂中,针对产线中可能出现的新型或混合型未知pattern,可进行聚类将分布相似的晶圆自动归为同一群组,判断异常批次中是否存在共性空间特征,实现工艺窗口的主动监控与早期预警,有效提高工艺监控工程师和良率管理人员的异常模式识别效率,及时发现产线潜在偏移风险。本数据均为通过真实数据分布特点模拟出来的wafer map图,来源清晰无争议。
针对Wafer Map图像,采用特征提取结合DBSCAN密度聚类方法,将分布相似的晶圆自动归并分组,具体步骤如下:
步骤1:将输入图像缩放至224×224分辨率,像素值归一化至[0,1]区间,采用标准化处理使各通道均值为0、方差为1。
步骤2:采用ImageNet预训练的ResNet-50作为特征提取网络,移除全连接分类层,取全局平均池化层输出的2048维向量作为图像特征,并进行L2归一化。
步骤3:采用主成分分析(PCA)将2048维特征降维至128维,保留约95%的方差信息。
步骤4:采用DBSCAN算法进行密度聚类,选择余弦距离作为距离度量,eps=0.35,min_samples=5,通过网格搜索结合轮廓系数确定最优参数,噪声样本标记为异常类别。
步骤5:输出每张图像的簇标签,将相似空间分布模式的晶圆归并至同一群组即拥有同一个簇标签。
本数据一共3446张图,聚成32个簇。其中簇0有36张,簇1有298张,簇2有20张,簇3有165张,簇4有122张,簇5有22张,簇6有134张,簇7有10张,簇8有29张,簇9有28 张,簇10有2张,簇11有523张,簇12有187张,簇13有335张,簇14有10张,簇15有43张,簇16有16张,簇17有107张,簇18有34张,簇19有155张,簇20有1 52张,簇21有238张,簇22有20张,簇23有45张,簇24有130张,簇25有21张,簇26有253张,簇27有3张,簇28有16张,簇29有65张,簇30有140张,簇31有87张。
晶圆图缺陷图像目标检测训练数据该数据用于训练晶圆图缺陷图像目标检测模型。通过YOLO目标检测模型对晶圆测试阶段产生的Wafer Map图像进行缺陷模式检测,主要应用于半导体集成电路制造领域的晶圆良率分析与失效定位场景,晶圆厂通过训练该模型,可针对晶圆表面可能同时存在多种失效模式的情况,输出各失效模式所在区域的包围框坐标及类别,判断每种缺陷模式的具体位置和分布范围,实现工艺溯源的排查范围从整片晶圆缩小至特定局部区域,提高良率分析人员和失效分析工程师的异常定位效率,提升异常根因分析的精准度。本数据均为通过真实数据分布特点模拟出来的wafer map图,来源清晰无争议。
针对Wafer Map图像缺陷模式检测任务,基于YOLOv8目标检测算法构建检测模型,输出各失效模式所在区域的包围框坐标及类别,具体步骤如下:
步骤1:对于每张输入图像,需要将输入图像缩放至640×640分辨率,像素值归一化至[0,1]区间,对每张图像标注包围框(x_center, y_center, width, height)及类别标签(0~5),采用马赛克增强、随机缩放、平移、翻转等数据增强策略。
步骤2:采用YOLOv8框架,主干网络为CSPDarknet结构,结合C2f模块进行多尺度特征提取,输出80×80、40×40、20×20三个尺度的特征图。
步骤3:在三个特征图上分别应用解耦检测头,每个检测头输出(4个包围框坐标偏移量+1个目标置信度+6个类别概率)×3个anchor的预测结果,采用CIoU作为包围框回归损失。
步骤4:总损失为回归损失、分类损失和置信度损失的加权和,优化器选择SGD,学习率0.01,权重衰减0.0005,批次大小16,按7:2:1划分数据集,训练300轮,验证集mAP@0.5连续20轮不升时提前停止。
步骤5:模型输出各检测目标的包围框坐标(框中心点的横纵坐标,框的高度和宽度)、类别标签及置信度分数。
所有数据共 3376 张,共20 个类别。其中Edge Ring(边缘环状)类有405张,Large Edge(粗边缘)类有298张,Large Line(粗线)类有295张,Center(中心)类有265张,Others(其它)类有257张,Edge Local(边缘局部)类有253张,Testing Pattern(测试模式)类有222张,Local(局部)类有199张,Center Line(穿过中心的直线)类有175张,Line(直线)类有165张,Scratch(划痕)类有124张,Massive(大片团簇)类有122张,Ring(圆环形)类有94张,Repeating(重复形)类有92张,Edge Rim(边缘弧形)类有89张,Donut(甜甜圈形)类有74张,Splash(放射状)类有72张,TypeB(B类型)类有68张,Streak(扇形)类有64张,Frown(弧形)类有43张。