基于改进YOLOv7-Tiny 的轻量化激光器芯片缺陷检测算法

胡 玮a,c,d,赵菊敏a,c,d,李灯熬b,c,d

(太原理工大学 a.电子信息工程学院, b.计算机科学与技术学院(大数据学院),c.大数据融合分析与应用山西省重点实验室, d.山西省智能感知工程研究中心,山西 太原)

摘 要:【目的】高功率半导体激光器的光学灾变损伤是限制其可靠性和寿命的主要因素,因此,有效的缺陷检测对于优化激光器芯片的制造工艺和结构设计至关重要。提出了一种基于改进YOLOv7-Tiny 的轻量化激光器芯片缺陷检测算法,旨在解决深度学习应用于缺陷检测时面临的高计算量和参数量问题。【方法】利用轻量化卷积神经网络替换特征提取主干有效减少对计算资源消耗,有效提取电致发光图像中缺陷特征。为从上下文特征获取更丰富的信息,引入多分支重参数化卷积块重构聚合模块,通过多路径分支丰富特征表示,训练与推理的解耦保证检测效率。此外,结合坐标注意力,提升定位精度。进行了剪枝实验和模型部署,验证算法的初步应用。【结果】在电致发光缺陷数据集上的实验结果显示,本文方法能在较低的参数和计算量下准确地检测出芯片缺陷,展现出良好的性能。

关键词:光学灾变损伤;半导体激光器芯片;缺陷检测;轻量化;模型剪枝

伴随着半导体行业的快速发展,高功率半导体激光器芯片逐渐成为光通信系统的核心器件,由于其波长覆盖面广、传输性能强、光电转化效率高、易于调制等优点[1],被广泛应用于工业加工[2]、医疗[3]、损伤检测[4]和军事[5]等领域。随着需求的不断增加,其可靠性成为限制高性能系统正常运行的关键。激光器芯片的失效将会给整个通信系统造成严重后果,有源区中的微小缺陷会导致局部热失控,最终造成激光器设备故障。为了防止在使用过程中出现设备故障或发生重大事故,对失效激光器芯片进行缺陷检测,分析失效原因和损失机理,帮助改进其生产工艺和制造水平,是提升半导体激光器可靠性的必由之路。

在边缘发射的分布式反馈激光器(Distributed Feedback,DFB)中,瞬态的光学灾变损伤(Catastrophe Optical Damage,COD)是限制芯片效能和寿命最主要的原因。当达到特定条件时,该过程被激活,没有事先迹象表明故障可能发生,难以筛选。激光器芯片实例如图1 所示,在可见光图像中观察到有源区所在位置,在电致发光(Electroluminescence,EL)图像中能够观察到其内部出现的暗线缺陷。COD 产生于腔面或腔体中晶体存在缺陷的位置,既可以发生在腔面处,也可以发生在腔内的任何地方,起始点是温度升高,以暗线的形式限制在有源区内传播。它是由于温度失控引起的,表现为输出光强在纳秒的时间内急剧下降,造成有源区结构发生变化[6]

图1 边缘发射激光器芯片实例图
Fig.1 Example of edge-emitting laser chip

根据光学灾变损伤产生的位置可以将其分为光学灾变腔面损伤(Catastrophe Optical Mirror Damage,COMD)和光学灾变腔体损伤(Catastrophe Optical Bulk Damage,COBD)。当暗线缺陷产生于腔面时,表明激光器芯片发生COMD,腔面载流子和光子的强烈吸收导致温度升高,局部区域熔化,使暗线缺陷从表面起始点向后延伸到腔体中[7]。针对COMD 可以通过镀膜钝化激光器的腔面,提高损伤的阈值功率,减少激光在腔面的吸收。

当暗线缺陷产生于腔体时,表明激光器芯片发生COBD。非辐射复合中心吸收光子形成局部热源使得温度升高,通过复合增强缺陷反应形成位错,超过临界温度导致热失控,暗线缺陷从内部起始点向两端发展[8]。对于COBD 可以通过改善材料质量、优化芯片设计等方法,降低局部热效应,防止热失控的发生,延长激光器的使用寿命。综上所述,精确检测COD 类别和位置信息,能够帮助工程师改进工艺生产,避免缺陷再次发生。实现对缺陷自动检测和智能的识别,对辅助研究失效机理和退化模式,提高设备的可靠性和稳定性具有重要意义。

传统的半导体激光器芯片COD 缺陷检测依赖人工检测,这种方法耗时长,成本高,效率低下,难以满足工业检测的实际应用。基于传统计算机视觉的检测方法,依赖预定义的特征模板进行识别,要求人工精确选择和提取特征,过程繁琐适应性差,易受环境因素影响,限制了检测系统泛化能力,检测速度与性能难以平衡。为满足COD 自动检测的需求,基于深度学习的检测方法得到应用,借鉴通用目标检测框架,自动学习提取特征,灵活地应对复杂多变的缺陷模式。但是,受限于有限的硬件资源,模型庞大的参数量和计算量,不能满足实时检测的要求。轻量级的检测框架虽然加快速度,但会牺牲一定的精度。因此针对上述挑战,提出了一种基于深度学习的轻量级COD 缺陷检测模型,能够减少分析的复杂性,迅速获取缺陷的关键信息,帮助测试公司处理大规模数据,提高检测的效率和准确性,降低分析成本,具有一定应用价值。本文的主要贡献如下:

1)将改进的YOLOv7-Tiny 方法应用于激光器芯片光学灾变损伤缺陷检测研究,利用其良好的缺陷识别能力,提高电致发光图像中缺陷检测的精度与速度,能够满足工业检测的需求,帮助提高芯片可靠性。

2)对于半导体激光器芯片这类需要高密度、快速检测的场景,提出使用轻量级的卷积神经网络替换模型的特征提取主干,减小了模型体积和计算负担,使得算法在保持较高检测性能的同时,适应资源受限的工业环境。

3)针对缺陷微小的特性,提出利用多分支结构的重参数化卷积块重构高效聚合网络,在不同尺度上并行处理特征图,增强对不同尺寸缺陷的捕捉能力,提高对细节的敏感度。精确的定位是检测的关键,引入坐标注意力模块,帮助模型聚焦于缺陷区域,减少误检和漏检,提升检测性能。

4)针对算法的部署应用,进行模型剪枝实验,进一步增强模型的效率和部署的灵活性,同时将模型初步应用到图像采集系统中。

1 相关工作

1.1 光学灾变损伤

由于没有显著的失效前兆,COD 会对系统带来灾难性的破环。对激光器退化机制的研究可以追溯到1970s,HENRY 等人[9]提出失效是由非辐射电子空穴对复合引起的局部熔化,暗线是有源区的熔融区传播造成的。COMD 被认为是限制激光器输出功率的唯一失效模式。BOU 等人[10]采用光致发光技术研究高功率激光器中的COMD,缺陷从端面开始,沿着腔内平行于波导方向传播。由于制作工艺与钝化技术的发展,COMD 阈值功率的不断提高,SIN 等人[11]通过长期的寿命实验证明,利用EL观察到引起失效的暗线缺陷从腔体内部开始,COBD 成为导致失效的主要模式。

1.2 目标检测

目标检测主要经历两阶段的发展:传统的目标检测阶段和基于深度学习的目标检测阶段。传统的目标检测算法[12]都是基于人工提取特征和SVM分类器构建的。自2012 年开始,基于深度学习的算法逐渐成为主流。深度学习下的目标检测包括两阶段(Two-stage)和单阶段(One-stage)。

两阶段检测包括候选框的生成和边框的分类和回归。RCNN[13]系列算法是两阶段代表,率先使用卷积神经网络来提取特征,具有更高的准确率。单阶段检测直接进行目标的定位和分类,具有更高的检测效率。YOLO[14]是最具有代表性的单阶段目标检测算法,将图像划分为多个网格,在每个网格预测边界框和类别概率。WANG 等人[15]提出YOLOv7 算法,通过强大的模型结构有效提取特征,所设计的Trainable bag-of-freebies 策略在不增加推理代价的前提下,极大提高检测精度。

1.3 基于深度学习的半导体领域缺陷检测

在半导体领域,缺陷检测的重要性不言而喻,为了确保产品的可靠性和良品率,多种方法被提出以提升检测效率。SHU 等人[16]提出的PSPP-Net模型优化LED 芯片的缺陷检测,通过并行空间金字塔池化技术,提高多尺度信息处理能力,但此模型依赖于高质量的离线数据,可能在数据质量不一的应用场景中遇到挑战。CHEN 等人[17]提出的YOLOv3-Dense 模型通过引入田口法优化超参数,提高了多类别缺陷的检测精度,然而不适合要求快速响应的场景。YU 等人[18]针对PCB 缺陷提出轻量级的小缺陷检测网络,利用对角金字塔融合特征,自适应损失函数提升对微小缺陷的灵敏度,但其精度有待提升。

LIU 等人[19]提出的基于Faster R-CNN 的光伏电池EL 图像缺陷检测算法有效地利用了多尺度特征融合技术,准确识别多种尺寸的断栅缺陷,但其处理速度受限于计算资源的配置。SU 等人[20]提出残差通道注意门网络RCAG-Net,专注于通过门机制对提取到的特征进行选择性传输,实现信息特征过滤,然而其复杂的网络结构可能导致较高的训练成本。STERN 等人[21]的全卷积网络通过跳跃连接的残差结构,增强网络的学习能力,实现了从单一到集群的晶圆缺陷检测,但它在处理极小缺陷时的准确率有待提高。

HOU 等人[22]针对激光器芯片缺陷分类提出基于GoogLeNet 的低功耗离线手持式分类器,能够快速且准确地进行缺陷诊断。此外,基于连续子空间学习的模型[23]进一步优化分类效果,实现了便携式设备中的高效缺陷分类,但其对复杂或隐蔽缺陷的识别能力还需要进一步验证,同时无法精确定位缺陷产生位置。

现有的激光器芯片的缺陷检测大多未涉及光学灾变损伤,而该缺陷是严重制约高功率激光器性能的关键因素之一。针对以上提到的方法及其局限性,本研究提出了基于改进YOLOv7-Tiny 的轻量化激光器芯片缺陷检测算法,该框架综合了轻量化卷积神经网络和重参数化结构,在不牺牲检测准确性的前提下,减少了模型的参数量和计算需求。引入了坐标注意力机制提升模型对细微缺陷的识别能力。考虑到实际应用的需求,通过模型剪枝技术,进一步降低对计算资源的利用,最终进行模型的部署测试。

2 改进YOLOv7-Tiny 的轻量化激光器芯片缺陷检测算法

2.1 总体架构

本文提出的轻量化激光器芯片缺陷检测算法基于YOLOv7-Tiny 进行改进,属于单阶段的缺陷检测算法,模型整体架构如图2 所示。轻量级的COD 缺陷检测器采用轻量化特征提取主干和多分支结构的重参数化卷积,能够有效提取缺陷特征,在提升效率的同时保持良好的模型精度。

图2 改进YOLOv7-Tiny 的轻量化缺陷检测总体结构
Fig.2 Structure diagram of the lightweight defect detection algorithm based on improved YOLOv7-Tiny

本文算法缺陷检测网络主要由四部分组成:输入EL 图像、特征提取的主干网络、特征融合的颈部网络和包含分类与定位的检测头。注意除改进的模块外,其余结构都参考YOLOv7-Tiny 所设计。首先,DFB 激光器芯片的EL 图像经预处理后输入主干网络进行特征提取。主干网络采取轻量化的卷积神经网络结构提取COD 的细节特征,大幅度减少模型的参数量和计算量。接着,经过颈部网络中进行特征融合,通过多尺度融合增强特征表征能力,更加精准地定位和识别感兴趣的目标。最后,预测结果经过检测头网络输出,通过三个不同尺度的检测头预测不同大小的缺陷,得到预测框的位置坐标和类别置信度。

针对深度学习模型参数庞大难以在芯片缺陷检测中实际应用的问题,提出通过轻量级特征提取主干MobileNet[24]或FasterNet[25],满足对网络的轻量化要求。在颈部网络特征融合中利用多分支结构的重参数化卷积块重构高效聚合网络,同时引入坐标注意力,保持网络检测精度。此外,为进一步实现高效的模型部署,进行一系列剪枝实验,增强网络效率和灵活性。

2.2 轻量化特征提取主干

本文提出的采用轻量化卷积神经网络MobileNet[24]和FasterNet[25]替代DarkNet[14]的原始主干网络,用于缺陷图像的特征提取,同时移除最后三层的卷积。该替换旨在进一步减少参数量和计算量,实现在本地的图像采集系统实现更高效的缺陷识别与检测。轻量化模型能够快速进行响应,提高检测效率,减少生产线上检测环节的时间成本。

首先,将阐述一种基于MobileNet 改进的高效主干网络架构。其模型的核心组件是倒残差结构的深度可分离卷积模块,该模块堆叠的设计缩减了模型的参数规模及计算需求,从而实现模型的轻量化。在此基础上运行MobileNetv3[24]使用神经网络搜索算法来调整主干网络的参数配置,确保模型的高性能表现。同时,在倒残差模块内部引入通道注意力机制,增强模型在通道维度上的辨别力与提取效率,网络结构如图3 所示。

图3 基于MobileNetv3 的轻量化主干网络结构图
Fig.3 Structure diagram of the lightweight backbone network based on MobileNetv3

深度可分离卷积主要由两部分构成:深度卷积(Depthwise convolution,DWConv)、逐点卷积(Pointwise Convolution,PWConv),每个卷积都紧密连接激活函数引入非线性,与传统卷积相比在精度基本不变的情况下,参数与计算量得到明显减少,深度卷积的输出特征映射可以表示为:

其中K 是深度卷积的卷积核,卷积核中第m 个滤波器与输入特征图F 的第m 个通道作用产生输出特征映射G 的第m 个通道。

深度可分离卷积的参数量和计算量分别可以表示为:

其中,深度卷积的卷积核K 的尺寸为DKM 代表该卷积核的个数,N 表示逐点卷积的卷积核数目,DF表示乘法和加法的运算数量。

采用深度可分离卷积不仅实现了模型的极致轻量化,还优化了对多样数据的适应能力,有效抑制过拟合风险,进而增强模型的泛化性能与稳定性。

接下来,将介绍引入FasterNet[25]作为主干网络的轻量化缺陷检测。尽管,MobileNet 所提出的深度可分离卷积在缩减模型参数及计算负担上表现出显著优势,但其频繁的内存访问需求,在资源受限环境下导致内存访问频次攀升,进而拖延推理时间,对整体运行效率构成了挑战。针对这一瓶颈问题,本文在此基础上采纳了一种轻量级的卷积神经网络FasterNet 作为缺陷检测模型的核心特征提取主干。

FasterNet[25]的核心创新是其构建卷积模块Partial Convolution(PConv),该模块通过挖掘特征图跨通道间的相似冗余信息,优化标准卷积流程,有效降低了参数量与内存访问的资源消耗,该模块的计算量如下:

其中hw 分别代表输入特征图高宽,k 代表卷积核的大小,cp 表示第一个或最后一个连续的cp 个通道作为整个特征图的代表进行计算。

类似于深度可分离卷积,在PConv 的操作之后衔接逐点卷积操作,共同构建了一个高效的T 型感受野结构,强化对特征图中心区域的特征捕获能力。如图4 所示,FasterNet 的骨干架构设计精练,由连续的Block 组成,每个Block 整合标准卷积与PConv,前者旨在拓宽通道基数并实现空间维度的下采样,而后者则专注于高效的特征提取。此外,模型中融入了批归一化层以标准化特征的分布,并采用激活函数引入非线性,以此确保特征学习的丰富性与推断过程的高效性。

图4 基于FasterNet 的轻量化主干网络结构图
Fig.4 Structure diagram of the lightweight backbone network based on FasterNet

2.3 多分支重参数化聚合模块

轻量化设计的COD 缺陷检测模型致力于减轻参数量与计算负担,但此过程中难免会对检测精度产生一定影响。在网络传输环节中,激光器芯片表面的COD 缺陷细节特征容易丢失,从而可能削弱模型的识别精度与定位能力。鉴于此,本研究提出使用多分支重参数化聚合模块,旨在增强模型对缺陷的检测性能,如图5所示。该模块构筑于多路径的重参数化卷积组件之上,通过多分支重参数化卷积块重构高效聚合网络,优化特征表达的丰富性,进一步提升在复杂条件下的缺陷辨别能力。使用类Inception 结构的Diverse Branch Block(DBB)[26]模块,通过多分支并联拓扑结构优化特征融合颈部网络。

图5 DBB-ELAN 模块结构图
Fig.5 DBB-ELAN module structure diagram

该模块DBB-ELAN 的核心设计在轻量的高效聚合模块中引入DBB 结构,优化特征融合方式,在维持模型轻量特性的同时,有效提升对缺陷的检测精度与泛化性。实现训练与推理的解耦,即在训练阶段引入了较高的计算复杂度以充分提取特征,但在实际推理应用时可简化为单一卷积层计算,有效提升推理效率,实现了高性能与低参数的平衡。

重参数化技术的发展使得模型在推理时性能得到一定增强,通过卷积和归一化实现线性计算的合并,提升推理效率。详细介绍该合并过程:

上述过程表示合并前的卷积层x1 和归一化层x2 的操作,卷积中w 代表权重,b 代表偏置。归一化中μσ2 表示数据的均值和方差,γβ 代表可学习参数,ε 防止分母为零。在推理阶段,将卷积公式代入归一化公式中,可以融合归一化层进卷积层中,完成重参数化:

在此基础上重新定义卷积核参数权重wˉ和偏置,得到合并后的公式:

在该模块输出时,引入坐标注意力机制(Coordinate Attention,CA)[27],将空间信息嵌入通道注意力中,不仅能够捕获跨通道的信息,还能捕获空间坐标上的信息。灵活轻量的坐标注意力帮助模型更加精准地定位和识别感兴趣的目标,弥补了通道注意力在计算时,因池化操作造成缺陷的空间信息损失的缺点。该注意力的具体结构如图6 所示。

图6 坐标注意力机制
Fig.6 Coordinate attention

该注意力先对输入特征图实施不同维度的全局平均池化,按HW 维度分离特征,再经转置与堆叠整合后,通过卷积及后续处理深化特征。接着,生成两维度的注意力权重,与原特征相乘完成坐标注意力的计算,实现对特征图关键区域的着重表达。

2.4 模型剪枝

为进一步增强模型的效率和部署的灵活性,对改进YOLOv7-Tiny 的轻量化激光器芯片缺陷检测算法应用模型剪枝,作为优化策略的关键组成部分,为保障未来算法扩展的需求,预留充足的计算资源以维护缺陷检测系统运行的高效。

主要使用通道剪枝进行实验,图7 简单描述通道剪枝过程[28]。剪枝涵盖训练、剪枝与微调三环节,核心是剪枝步骤应用优化算法削减参数,简化结构。微调通过有限的学习恢复模型遗忘的知识,确保检测性能稳定。

图7 通道剪枝示意图
Fig.7 Channel pruning illustration diagram

通道剪枝通常可以被描述成下面的表达式:

其中ri 分别代表每层的剪枝率,通过剪枝前后的通道数计算,Loss 表示损失函数,即任务的目标函数,NW分别表示卷积神经网络及其对应的权重参数。

3 实验

3.1 数据集

现有的公开数据集,多聚焦于晶圆图像和表面缺陷,而非DFB 激光器芯片的内部结构缺陷。因此,本研究构建了光学灾变损伤数据集,样品由武汉光迅科技股份有限公司提供,专为半导体激光器芯片内部缺陷检测设计。使用EL 技术捕获芯片的发射特征图像。由于有源区域的发光无法直接从表面观察,从芯片背面去除衬底和部分电极以便观察到内部结构。数据采集过程中,电流维持在约1mA。共包括3 766 张640×512 像素的图像,用于深度学习模型的训练和测试。按照7∶1∶2 的比例划分为训练集、验证集和测试集。使用20 倍的红外物镜捕获有源区的俯视图,为工程师在失效分析中提供详尽的位置和尺寸信息,帮助更精确地识别和分类芯片缺陷。如图8所示,展示了4张具有代表性的EL 图像,清晰展现了在不同缺陷状态下的内部结构。

图8 COD 数据集的样本图像
Fig.8 Sample images from the COD dataset

3.2 评价指标

为了客观评价轻量化模型性能,本文采用多个评价指标全面的评估模型的性能。包括:精确率(Precision,P)、召回率(Recall,R)、平均精度(Average Precision,AP)、和平均精度均值(mean Average Precision,mAP),参数量(#Params)和运算量(FLOPs)等。

其中,TP 代表模型正确识别出的缺陷实例数,FP 则指模型将非缺陷误报为缺陷的情况总数,FN 表示模型未能识别出的缺陷数目。

3.3 实验细节

在本实验中,所有模型均使用PyTorch 框架构建,并在配备24GB 显存的RTX 3090 GPU 上进行训练,算法参数通过大量的调参实验确定。为确保实验结果的可重复性和理解性,详细记录了关键参数的设置。由于模型为轻量级设计,迭代次数为100 次,能够观察到稳定的收敛。Batch Size 设为64,平衡内存使用和并行计算效率。数据预先加载到缓存中,以提升训练的效率。剪枝实验未采用OTA 标签分配策略,在测试中提高推理效率。在实际应用时,应使用预训练权重微调模型,以提高在有限数据下的检测精度。

在保证高性能的同时,采取了逐步调整策略,寻找网络复杂度和检测性能之间的最佳平衡。实验从YOLOv7-Tiny 基础模型开始,通过对主干网络的修改、DBB 多分支结构的增减,以及坐标注意力的调整,系统地优化模型。基于详细的性能评估进行调整,以确保在参数量和检测精度之间达到均衡。

3.4 消融实验

本文以YOLOv7-Tiny 作为基准模型,在制作的激光器芯片缺陷数据集上进行消融实验,分别验证了轻量化特征提取主干、多分支重参数化卷积块和坐标注意力的效果,如表1 所示。

表1 消融实验
Table 1 Ablation experiment

方法标准方法MobileNet FasterNet DBB CA本文方法M√√√√本文方法F√√√√√√√√P/%91.7 84.6 94.6 90.4 94.2 91.1 96.1 R/%84.0 79.0 76.1 82.2 79.8 81.4 82.0 mAP/%88.0 84.8 85.8 87.0 86.6 86.8 89.5#Params 6.04 2.91 2.92 2.93 4.10 4.09 4.1 FLOPs 13.0 3.9 3.8 3.8 8.5 8.5 8.5

当轻量化卷积神经网络作为模型的特征提取主干后,本文方法M 和F 的平均检测精度分别降低了3.2%和1.4%,但是极大程度上降低了模型参数量和计算量;在通过多分支重参数化卷积块重构后,检测精度得到有效恢复,分别上升1%和0.2%;在此基础上,引入坐标注意力后提升对微小缺陷的识别能力,模型平均精度分别提高1.2%和2.7%。综上所述,与基准方法相比,本文提出的方法在维持良好性能的同时,有效降低了资源消耗。

3.5 对比实验

为了验证本文提出的改进YOLOv7-Tiny 的轻量化激光器芯片COD 缺陷检测模型的性能,在我们构建的数据上将本文方法和其他的目标检测方法进行了对比。在对比实验的设计中,聚焦于结构相似的单阶段目标检测算法YOLO 系列模型。

在本文中比较YOLOv4[29]、YOLOv5[30]、YOLOv7[15]等方法。YOLOv4 通过CSPNet 与SPP 整合,为后续的网络设计提供参考;YOLOv5 拥有出色的性能和轻量化设计思路;YOLOv7 集成了多项先进技术在精度和速度上达到了新高度。本文提出的方法有两种变体:基于MobileNetv3[24]的轻量化缺陷检测模型和基于FasterNet[25]的轻量化缺陷检测模型,分别命名为本文方法M 和本文方法F。

实验结果如表2 所示,方法F 的精确率高达96.1%,显著优于YOLOv4-Tiny,并与YOLOv7 接近,而方法M 的精确率为90.4%,在资源效率上具有优势。两种方法的召回率在82.0%左右表现良好。值得注意的是,本文方法F 的平均精度mAP 为89.5%,高于YOLOv4-Tiny 的57.9%、YOLOv5-N的87.8%和YOLOv7-Tiny 的88%,虽略低于YOLOv7 的92.3%,但其参数数量和计算量仅为YOLOv7 的11%和6.5%,显著提高了计算效率。方法M 也展示了良好的性能平衡,其精度为87.0%,在保持较低资源消耗的同时,有效地完成了缺陷检测任务。结果证明本文方法在半导体激光器芯片COD 缺陷检测中的实用性和技术优势。通过集成轻量级主干网络与多分支重参数化卷积块,不仅优化了模型的资源消耗,同时保持了较高的检测性能。可以在不牺牲检测效率的情况下,大幅度减少计算资源的需求。

表2 轻量化对比实验
Table 2 Lightweight comparative experiment

方法YOLOv4-Tiny[29]YOLOv5-N[30]YOLOv7[15]YOLOv7-Tiny[15]本文方法M本文方法F P/%46.0 92.6 94.7 91.7 90.4 96.1 R/%94.4 81.8 87.0 84.0 82.2 82.0 mAP/%57.9 87.8 92.3 88.0 87.0 89.5#Params 6.1 1.7 36.5 6.0 2.9 4.1 FLOPs 16.5 4.1 103.2 13.0 3.8 8.5

为直观展示所设计模型在COD 缺陷检测上的效果,在测试集中挑选6 幅代表不同缺陷类型的EL图像进行检测结果的可视化评估,如图9所示。

图9 可视化检测结果
Fig.9 Visualization of detection results

3.6 剪枝与部署

在改进YOLOv7-Tiny 的轻量化激光器芯片缺陷检测算法训练完成后,为实现模型的部署应用,进行更深层次的剪枝实验,最大程度发挥其效能。对提出的基于FasterNet 的轻量化缺陷检测模型,即本文方法F,采用六种不同的剪枝方法,分别是Random、L1、Lamp[31]、Norm[32]、Hessian[33]和Taylor[34],比较剪枝前后模型的性能,实验结果如表3 所示。该表直观反映不同剪枝的效果均在基准模型参数量和计算量的65%左右,为后续的模型优化提供有价值的参考。

表3 不同剪枝算法实验结果
Table 3 Different pruning experimental results

方法本文方法F Random L1 Lamp[31]Norm[32]Hessian[33]Taylor[34]#Params 4.11(100%)2.55(62.0%)2.64(64.2%)2.47(60.1%)2.75(66.9%)2.64(64.2%)2.84(69.1)FLOPs 8.5(100%)5.4(63.5%)5.6(65.8%)5.3(62.3%)5.8(68.2%)5.6(65.8%)6.0(70.5%)P/%96.1 91.1 91.4 91.6 92.8 94.3 93.6 R/%82.0 84.1 80.9 83.1 82.9 83.1 83.4 mAP/%89.5 87.9 88.2 88.3 88.6 88.8 88.9

通过这些多样化的方法全面探索模型压缩的可能性,以适应半导体激光器芯片COD 缺陷检测的特殊需求。所选的剪枝方法各具特点:L1 利用权重绝对值作为稀疏化指标,简单有效;LAMP 通过层适应性调整剪枝策略,保留关键层结构完整;Norm 关注于权重的全局分布;Hessian 剪枝和Taylor 剪枝引入了二阶导数信息,更精确地评估权重的重要性,减少剪枝带来的性能损失。

基于上述实验,将针对轻量化激光器芯片的COD 缺陷检测算法嵌入到本地的图像采集系统中,迈出实现该模型推理应用的初步尝试。为了保证模型广泛的适用性与灵活性,选用ONNX(Open Neural Network Exchange)格式,确保模型在不同硬件配置和软件环境之间实现跨平台兼容性。如图10所示,将此模型应用于实际的检测场景中,进行实际的性能评估,以验证其在真实环境下的检测性能。

图10 模型部署推理结果
Fig.10 Model deployment inference result

4 结论

本文针对半导体激光器芯片光学灾变损伤缺陷检测,提出了基于改进YOLOv7-Tiny 的轻量化激光器芯片缺陷检测算法。为满足在不增加负载的情况下保持模型性能,该算法提出集成轻量化卷积神经网络的特征提取主干、多分支重参数化聚合模块和坐标注意力机制,在有效减少模型参数量和计算量的同时,保持较高的检测性能。在此基础上,经剪枝实验后,实现模型的初步应用,进一步提升算法在有限计算资源下的适用性和实效性,为后续优化进行尝试。最终,实验结果显示,所提出的算法在DFB 激光器芯片有源区缺陷检测任务中具有良好的通用性,并能实时进行端到端的光学灾变损伤检测。

参考文献:

[1] CAI J,LV C. WATANABE A. Cost-effective fabrication of high-performance flexible all-solid-state carbon microsupercapacitors by blue-violet laser direct writing and further surface treatment[J].Journal of Materials Chemistry A,2016,4(5):1671-1679.

[2] YANG Q,ZHANG P,LU Q,et al.Application and development of blue and green laser in industrial manufacturing:A review[J].Optics & Laser Technology,2024,170:110202.

[3] LAI D,ZHOU S,CHENG S,et al.Laser therapy in the treatment of melasma:a systematic review and meta-analysis[J].Lasers in Medical Science,2022,37(4):2099-2110.

[4] FU L L,YANG J S,LI S,et al.Artificial neural network-based damage detection of composite material using laser ultrasonic technology[J].Measurement,2023,220:113435.

[5] AHMED S A,MOHSIN M,ALI S M Z.Survey and technological analysis of laser and its defense applications[J].Defence Technology,2021,17(2):583-592.

[6] TOMM J W,ZIEGLER M,HEMPEL M,et al.Mechanisms and fast kinetics of the catastrophic optical damage (COD) in GaAs-based diode lasers[J].Laser & Photonics Reviews,2011,5(3):422-441.

[7] ELISEEV P G.Optical strength of semiconductor laser materials[J].Progress in quantum electronics,1996,20(1):1-82.

[8] SIN Y,BAE I T,LINGLEY Z.Degradation in high-power broad-area lasers with quantum well and quantum dot active regions:a comparative study[C]//High-Power Diode Laser Technology XXI.SPIE,2023,12403:73-85.

[9] HENRY C H,PETROFF P M,LOGAN R A,et al.Catastrophic damage of Al x Ga1- x As double-heterostructure laser material[J].Journal of applied physics,1979,50(5):3721-3732.

[10] BOU SANAYEH M,JAEGER A,SCHMID W,et al.Investigation of dark line defects induced by catastrophic optical damage in broad-area AlGaInP laser diodes[J].Applied physics letters,2006,89(10):101111.

[11] SIN Y,STUART S,BRODIE M,et al.Physics of failure based reliability model of high-power InGaAs-AlGaAs strained QW lasers prone to COBD failure[C]//High-Power Diode Laser Technology XVIII.SPIE,2020,11262:39-50.

[12] DALAL N,TRIGGS B.Histograms of oriented gradients for human detection[C]//2005 IEEE computer society conference on computer vision and pattern recognition (CVPR′05).Ieee,2005,1:886-893.

[13] REN S,HE K,GIRSHICK R,et al.Faster r-cnn:Towards real-time object detection with region proposal networks[J].Advances in neural information processing systems,2015,28:91-99.

[14] REDMON J,FARHADI A.Yolov3:An incremental improvement[J].arXiv preprint arXiv:1804.02767,2018.

[15] WANG C Y,BOCHKOVSKIY A,LIAO H Y M.YOLOv7:Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2023:7464-7475.

[16] SHU Y,LI B,LIN H.Quality safety monitoring of LED chips using deep learning-based vision inspection methods[J].Measurement,2021,168:108123.

[17] CHEN S H,TSAI C C.SMD LED chips defect detection using a YOLOv3-dense model[J].Advanced engineering informatics,2021,47:101255.

[18] YU Z,WU Y,WEI B,et al.A lightweight and efficient model for surface tiny defect detection[J].Applied Intelligence,2023,53(6):6344-6353.

[19] LIU L,ZHU Y,RAHMAN M R U,et al.Surface defect detection of solar cells based on feature pyramid network and GA-faster-RCNN[C]//2019 2nd China Symposium on Cognitive Computing and Hybrid Intelligence (CCHI).IEEE,2019:292-297.

[20] SU B,CHEN H,LIU K,et al.RCAG-Net:Residual channelwise attention gate network for hot spot defect detection of photovoltaic farms[J].IEEE Transactions on Instrumentation and Measurement,2021,70:1-14.

[21] STERN M L,SCHELLENBERGER M.Fully convolutional networks for chip-wise defect detection employing photoluminescence images:Efficient quality control in LED manufacturing[J].Journal of Intelligent Manufacturing,2021,32:113-126.

[22] HOU D,LIU T,PAN Y T,et al.AI on edge device for laser chip defect detection[C]//2019 IEEE 9th Annual Computing and Communication Workshop and Conference (CCWC).IEEE,2019:0247-0251.

[23] HOU D,LIU T,ZHANG X,et al.DFB laser chip defect detection based on successive subspace learning[C]//2020 10th Annual Computing and Communication Workshop and Conference (CCWC).IEEE,2020:0061-0064.

[24] HOWARD A,SANDLER M,CHU G,et al.Searching for mobilenetv3[C]//Proceedings of the IEEE/CVF international conference on computer vision.2019:1314-1324.

[25] CHEN J,KAO S,HE H,et al.Run,Don′t walk:Chasing higher FLOPS for faster neural networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2023:12021-12031.

[26] DING X,ZHANG X,HAN J,et al.Diverse branch block:Building a convolution as an inception-like unit[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2021:10886-10895.

[27] HOU Q,ZHOU D,FENG J.Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2021:13713-13722.

[28] HE Y,ZHANG X,SUN J.Channel pruning for accelerating very deep neural networks[C]//Proceedings of the IEEE international conference on computer vision.2017:1389-1397.

[29] BOCHKOVSKIY A,WANG C Y,LIAO H Y M.Yolov4:Optimal speed and accuracy of object detection[J].arXiv preprint arXiv:2004.10934,2020.

[30] JOCHER G,CHAURASIA A,STOKEN A,et al.ultralytics/yolov5:v7.0-yolov5 sota realtime instance segmentation[EB/OL].Zenodo,2022.https:∥github.com/ultralytics/yolov5.

[31] LEE J,PARK S,MO S,et al.Layer-adaptive sparsity for the magnitude-based pruning[C]//International conference on learning representations.2021.

[32] FANG G,MA X,SONG M,et al.Depgraph:Towards any structural pruning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2023:16091-16101.

[33] LECUN Y,DENKER J,SOLLA S.Optimal brain damage[J].Advances in neural information processing systems,1989,2:598-605.

[34] MOLCHANOV P,MALLYA A,TYREE S,et al.Importance estimation for neural network pruning[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2019:11264-11272.

A Lightweight Laser Chip Defect Detection Algorithm Based on Improved YOLOv7-Tiny

HU Weia,c,d, ZHAO Jumina,c,d, LI Dengaob,c,d
a. College of Electronic Information Engineeringb. College of Computer Science and TechnologyCollege of Data Science), c. Key Laboratory of Big Data Fusion Analysis and Application of Shanxi Provinced. Intelligent Perception Engineering Technology Center of ShanxiTaiyuan University of TechnologyTaiyuanShanxiChina

Abstract:【Purposes】Catastrophic Optical Damage (COD) is a major limiting factor for the reliability and lifespan of high-power semiconductor lasers, making effective defect detection crucial for optimizing the manufacturing processes and structural designs of laser chips. In this study, a lightweight laser chip defect detection algorithm based on an improved YOLOv7-Tiny is proposed, aiming at addressing the high computational and parameter demands of deep learning applications in defect detection. 【Methods】 By employing a lightweight convolutional neural network as the feature extraction backbone and integrating multi-branch reparameterized convolution blocks, this algorithm not only significantly reduces resource consumption but also enhances feature representation capabilities.Additionally, the introduced coordinate attention mechanism improves the precision of defect localization. Pruning experiments and model deployment are conducted to further verify the algorithm practicality. 【Findings】 Experimental results on the electroluminescence dataset demonstrate that this method can accurately detect chip defects with lower parameter and computational costs, showing excellent performance.

Keywords:catastrophic optical damage; semiconductor laser chip; defect detection; lightweight;model pruning

中图分类号:TP183; TP399

文献标识码:A

DOI:10.16355/j.tyut.1007-9432.20240388

文章编号:1007-9432(2025)01-0137-11

引文格式:胡玮,赵菊敏,李灯熬.基于改进YOLOv7-Tiny 的轻量化激光器芯片缺陷检测算法[J].太原理工大学学报,2025,56(1):137-147.

HU Wei,ZHAO Jumin,LI Dengao.A lightweight laser chip defect detection algorithm based on improved YOLOv7-Tiny[J].Journal of Taiyuan University of Technoloty,2025,56(1):137-147.

收稿日期:2024-05-20;修回日期:2024-07-04

基金项目:国家重大科研仪器研制项目(62027819);山西省关键核心技术和共性技术研发攻关专项项目(2020XXX007)

第一作者:胡玮(1999-),硕士研究生,(E-mail)huwei_1999@qq.com

通信作者:赵菊敏(1976-),博士,教授,主要从事通信信号方向研究,(E-mail)zhaojumin@tyut.edu.cn

(编辑:贾丽红)