张雪明，茅健
（201620 上海市 上海工程技术大学 机械与汽车工程学院）
回转体零件是机械零件汇总最基本的结构状态，具有很高的传动稳定性和装配便捷性，主要支撑旋转、传递动力、承受载荷等作用，在生产中由于加工过程、生产环境等影响，零件表面出现的拉伤、碰伤、划痕等缺陷，并且不能及时分检，会直接影响装配后的部件质量，因此快速准确地检测零件的表面缺陷不可或缺。机器视觉是缺陷检测较为流行的方法，但在图像采集过程中，采集到的图像受到不稳定因素的干扰，往往具有低全局对比度和小灰度分布的特点，导致暗区细节模糊，视觉设备很难检测出小目标缺陷，不利于此类零件的生产效率和质量控制。
随着科技的不断发展，以卷积神经网络为代表的缺陷检测技术被广泛应用到缺陷检测问题中。Long 等[1]提出一种直接对图像像素进行类别划分实现图像分割效果的全卷积神经网络 FCN（fully convolutional networks）；
Badrinarayana 等[2]提出SegNet 网络，在解码器中使用反池化，并在分割中保持高频细节的完整性。Ronneberger 等[3]提出Unet 模型，对图像进行编码-解码操作，并通过跳跃连接实现高低层次的特征融合，在医学、遥感工业等领域取得良好效果；
钟思华等[4]通过引入密集连接，提出了一种改进的Unet 模型，可以对CT图像中的肺结节进行准确的分割；
张翠军等[5]提出一种引入注意力机制 U-Net 的遥感图像中建筑物变化检测方法，对图像背景复杂、小目标的建筑物检测效果明显提升；
刘畅等[6]提出一种改进的Unet的磁瓦缺陷检测识别算法，提取磁瓦表面缺陷，同时由于其结构简单、效率高、可塑性强，被广泛应用于医学图像分割和工业缺陷检测；
SE-Net[7]设计的特征压缩激活模块对特征维进行加权优化，从而提高模型的特征学习能力，即用特征压缩激活模块SE-ResNet 101 在 ImageNet 上的分类精度超过更深的ResNet 152；
刘浩等[8]利用嵌入特征压缩激活模块在遥感图像中进行建筑物的提取，对大小各异形状不规则的建筑物提取效果较好；
文喆皓等[9]结合Unet 与注意力机制提取磁瓦表面孔洞和裂纹缺陷，取得不错的效果。
本文针对回转体表面倒偏角、拉伤、线性纹缺陷识别，提出一种改进的Unet 网络的缺陷检测方法，建立Unet 网络架构模型，嵌入SENet 模块的Unet 卷积神经网络实现缺陷分割，完成缺陷图像的细节特征提取，从准确率、召回率以及F1分数3 个指标上对Unet-SE 网络进行客观评估，提出改进意见。实验表明，嵌入特征压缩激活模块的改进的Unet 网络，在没有后处理的情况下，在数据集上的准确率、召回率、F1分数优于同分割网络的SegNet、FCN、UNet 结构。
1.1 SENet 简介
SENet（Sequeeze-and-Excitation Network）的核心在于SE 模块，可嵌入其他分类或者检测的模型中，该结构由Squeeze、Excitaion 两部分构成，通过学习的方法自动获取通道权重，捕捉空间相关性，从而提高了网络的表达能力，在各个领域广泛的应用[10-13]，其结构如图1 所示。
图1 SE 模块结构Fig.1 SE module structure
第1 步是通过压缩过程（Squeeze），采用全局平均池化算法H×W×C 的全局信息通过池化压缩到1×1×C 的一个通道中，使得感受野更广，算法如下：
第2 步是激活过程（Excitation）。通过2 个全连接层(Fully-connected）进一步对特征进行压缩和重构后接“ReLU” 函数[14]和“Sigmoid” 做激活层得到特征维度的权重信息，目的是抓取各个通道之间的关系。
式中：Wr，Ws——压缩和重构的全连接函数，先降维后升维，再由sigmoid 函数进行激活，得到相应的权重，最终的输出通过输入通道与各自的权重相乘得到，如式(4)：
总的来说，SE 模块是将多通道的W×H 的特征图转化为压缩特征向量后，通过权重Wr、Ws，训练出对特征图有选择能力的全连接网络，通过ReLU函数和Sigmoid 激活函数，输出一个针对各特征图的权重向量，并与原始特征图相乘得到最终的输出。
在压缩和激活过程之后，将权重与原始输入对位相乘，映射为原图每个通道的权值，借助注意力机制，使模型学习到不同通道的重要程度，且这个权值信息是可以通过学习缺陷各通道之间相互依赖性重新校正，从而学习到更为有用的缺陷特征，并且可以抑制多余特征。
1.2 U-Net 模型与改进
U-Net 网络用于解决图像分割问题，尤其是较小的微观粒子分割效果显著，能够很好地提取图像特征信息。由于缺陷区域边界和微观粒子边界特征相似，采用Unet 网络应用于缺陷提取，能够有效提高提取的准确性。改进Unet-SE模型结构如图2所示。
图2 Unet-SE 网络结构Fig.2 Network structure of Unet-SE
1.3 损失函数
对于轴类零件的缺陷分割，缺陷区域为前景，其他为背景，属于像素级二分类问题，常使用二值交叉熵损失函数作为损失函数，公式为：
式中：gi——像素点i 的真实类别；
pi——网络对像素点i 的预测结果。
还有一种常用于分割任务的损失函数dice loss，它的提出是在V-net[9]中。Dice 可以表示为
Dice 相似系数值是用来衡量预测结果与真实结果之间的相似程度二分类的，Diceloss 公式为:
式中：gi——像素i 真实类别；
pi——网络对像素点i 的预测结果。
本文根据BCELoss 和DiceLoss 的特点，提出了一种混合损失函数，公式为：
式中：α——权重因子，可以调节2 种损失函数所占权重。
1.4 评价指标
本文采用了深度学习神经网络性能评价常用的3 个指标：准确率（Precision）、召回率（Recall）、F1 分数作为模型分类性能评价标准。准确率越高说明模型对负类区分能力强；
召回率越高表示对正类的识别能力强；
F1 分数是二者的平衡，越高表示模型稳定。计算公式如式（9）—式（11）所示。
式中：P——所有正类的个数；
N——所有负类的个数；
TP——正类判定正类的个数；
TN——负类判定为负类个数；
FN——正类判定为负类的个数；
FP——负类判定为正类的个数。
本算法针对回转体零件的缺陷分割网络，涉及到大量矩阵运算和权重参数矩阵，较于CPU，GPU更擅长执行大规模矩阵运算，更为简单且运算速度更快，所以我们利用GPU 完成运算。本文的实验条件见表1。
表1 实验条件Tab.1 Experimental conditions
2.1 数据预处理
搭建轴类零件缺陷检测系统，利用条形白光源和面阵工业相机进行图像采集，采用低角度水平对打光源照射。工件放置在双支撑滚轮机构上，由滚轮带动旋转实现360°全周成像。其中，拉伤缺陷图共115 张，倒偏角缺陷图共75 张，线性纹缺陷图共84 张。使用180°旋转、水平镜像、裁剪、调整明暗度等方法分别对3 种缺陷图像各200 张，对数据类型进行一定的增强，共计600 张。剪裁至长宽均为1 024 分辨率，将数据集按7∶2∶1 的比例划分为训练集、验证集、测试集。考虑到网络训练是有监督的，本文通过easyDL 进行标注提取图片中的缺陷区域，输入为图像下采样后的512 分辨率。
2.2 结果分析
Unet 网络选用BCEloss 和Diceloss 作为损失函数，选择SGD 进行优化，批处理(batchsize)为4，epoch 设置为60 轮，学习率衰减方式为指数衰减，初始值为0.001。在60 个epoch 的训练过程中的精度变化曲线和损失函数变化曲线如图3、图4 所示。通过60 个Epoch 后获得精度85.43%，以及混合损失约为0.094 5 的模型。
图3 训练损失和验证损失Fig.3 Training loss and validation loss
图4 训练精度和验证精度Fig.4 Training accuracy and verification accuracy
SegNet、FCN、Unet 以及本文算法的评价指标对比见表2。可以看出，Unet 的分割性能率略高于SegNet，这是由于 SegNet 对网络编码部分提取的特征并未充分利用，通过标记最大池化的坐标用于解码器中的上采样，却忽略了高低层特征在空间进行像素定位和分类间的联系，所以分割结果比另外2种模型粗糙。FCN 是统一将编码器各输出压缩，再上采样到最大尺度后在特征维进行连接后分类，由于像素之间的关系处理不好，得到的结果并不精细。Unet 则是通过跳跃连接将低层的特征和高层特征进行融合，得到的结果具有更多的细节。Unet-SE的性能略高于Unet 本身，这是因为特征压缩激活模块对特征进行加权强化，提高了特征的学习能力，网络具有更强表达力的深层特征。
表2 不同网络学习性能评价指标对比Tab.2 Comparison of different network learning performance evaluation indexes
为了更好地对本文算法进行评价，采用常用的分割模型SegNet、FCN、Unet 进行对比实验。实验对比结果如图5 所示。可以看出，本文的分割效果整体最接近人工标注。在客观的评价指标中加入了特征压缩激活模块，在缺陷提取问题上有效地提高了模型能力。图5（a）缺陷都是倒偏角缺陷，所有的网络都分类较好的结果，但是Unet 和UNet-SE 具有更好的分割效果，提取了大致的形状，其他的网络把阴影部分的缺陷遗漏掉；
图5（b）缺陷都是拉伤缺陷，缺陷形状较小，识别性较差，FCN 提取的完整性较差，连续性较差，Unet 提取错一部分背景，不规则缺陷只有Unet-SE 能够完整地提取出来；
图5（c）都是线形纹缺陷，SegNet和FCN 都有漏分割的部分，Unet-SE 提取的形状较为完整。从图5 可以看出，各个网络对于缺陷提取都有较好的效果，但是Unet-SE 的优点在于对于边缘、形状不规则的缺陷提取精确，这是因为其有较大的感受野，SE 模块对特征进行了加权的强化，进一步加强了这些特征的表达能力。
图5 不同模型对比实验Fig.5 Comparison experiment of different models
本文基于Unet 特征复用思想并嵌入了SE 模块，使用BCE 和Dice 的复合损失函数进行训练，在自制的数据集上和多种网络进行对比，得出如下结论：Unet-SE 根据特征的有效性自适应地对特征进行激活，强化特征学习的过程，同时还在解码的过程中连接编码特征，提高网络对空间信息的恢复。Unet-SE 在测试集上的实验结果在精确率、召回率、F1 分数上分别达到0.929 8，0.892 9，0.911 0，超过了本文引用的SegNet、FCN、U-Net 等其他网络。
本实验中Unet-SE 虽然在自制的数据集上取得了较好的效果，只是在标注好的自制数据集上进行，数据量可扩充，使得网络模型训练泛化性能更好；
本实验基于Unet 的网络结构进行设计，但是不确定是最优解，后续工作可以在网络深度和宽度进行优化。