冉宇辰，黄 民，王文胜，李天剑
（北京信息科技大学机电工程学院，北京 100192）
近年来应用在各类制造生产线上的工业机器人已比较成熟，但其在纺织行业的应用还有很大拓展空间[1-2]。随着生产需求量的增加，为提高工作效率，染整车间纱笼的坐标检测工作突显的更为重要，其重心就是要测量出纱笼上每一根纱杆的顶端圆心坐标距纱杆基准中心的偏离程度，即纱杆在纱笼上的垂直度。
通过偏离数据对超出许用范围的纱杆进行相应校正，偏离距离越大，装纱和卸纱的时间就越长，准确性就越低，单个纱笼出现问题还会影响后续车间工作的进行，严重的话还可能会造成安全事故。
目前，纱笼坐标检测工作全部是由工人手动完成，工人需要通过激光和外部工具以及自身经验对偏离数据进行测量记录，这种原始的检测方法，测量过程长，效率低，劳动量大，且测量数据的准确性无法验证。因此，亟待设计一套完整的机器人检测系统，提高工作效率，满足实际生产需求。
这里指在通过机器视觉的方法来实现纱笼坐标的检测[3-4]。纱笼上纱杆坐标定位的关键是通过图像处理提取出纱杆顶端的中心坐标。纱杆顶端近似为圆环，可通过检测圆的方法进行测量，一般有Hough变换法、连通域法、最小二乘法等。
标准Hough法对于规则圆的检测效果好、抗干扰性好，应用不同领域发展出多种改进方法[5-7]，但仍存在产生大量无效累积、数字化量化误差大等问题，因此同Hough法相结合的方法相继问世，文献[8]提出基于随机Hough变换的结合方法，借助特征弦的几何约束及特征弦端点的法向约束，大幅度降低RHT的无效采样和累积次数；
文献[9-10]提出基于梯度Hough变换的结合方法，前者把像素为主体的投票方式简化为一维参数累积，结合最小二乘拟合，极大地提高了圆检测的速度，使得鲁棒性和可靠性有保障，后者采用Teaching Learning Based Optimization（TLBO）算法，基于元启发式算法，利用梯度信息更精确地确定待测圆形。连通域法当图像区域单一时检测速度快且精度较高，但它的抗干扰性较差，对图像质量要求高[11]；
最小二乘法精度高、速度快，但对图像边缘质量要求较高[12]。
这里提出了基于连通域法和Hough梯度法相结合的视觉算法，是一种改进的霍夫梯度变换方法，通过工业相机对纱笼上每一根纱杆顶端圆心坐标的精确定位，获得上位机的坐标偏离度数据，以校正存在问题的纱杆，节省数据采集时间，简化纱笼检测过程。
2.1 传统检测方法
考虑到纱杆顶端平面为圆环形状，可近似看作圆形进行检测。传统检测方法中Hough梯度法通过梯度方向的计算可以更精确地拟合出纱杆顶端平面的近似圆，连通域法的标记计算更加简洁稳定。
2.1.1 Hough梯度法
Hough变换法是图像处理中的一种特征提取技术，该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。
圆的一般方程，如式（1）所示。
所以需要三个参数表示一个圆，C:(xcenter,ycenter,r)。
开源计算机视觉库（Open Source Computer Vision Library，OpenCV）内部提供了一个基于Hough变换理论的找圆算法，称为Hough梯度法。通过计算轮廓点处的梯度向量，然后根据搜索的半径R在该梯度方向距离轮廓点距离R的两边各投一点，最后根据投票结果图确定圆心位置。
经过实验测试，光线较弱时，背景噪声造成的干扰较大，在光线比较强的情况下，该方法识别准确率有所提高，背景噪声对寻找最优半径产生的影响不大，但稳定性较低。这种方法会导致识别出的圆形易抖动，误差较大，也有可能无法识别出待测区域，或者识别出多个圆形，甚至是不存在的圆。
2.1.2 连通域法
连通域方法的原理：一幅图像二值化处理后往往包含多个区域，需要通过标记把它们分别提取出来。标记分割后图像中各区域的简单而有效的方法是检查各像素与其相邻像素的连通性。在二值图像中，背景区像素的值为0，目标区域的像素值为1，对图像进行逐像素扫描，即可保证所有的连通域都被标记出来。后再通过对不同的标记赋予不同的颜色或将其加上边框即可完成标记，通过设定的参数，筛选出满足条件的区域，求其质心坐标。
连通域法检测时，需保证待测区域能够有效的连接成一个封闭区域，但实际生产中，纱笼上的纱杆经长时间使用会产生腐蚀、断裂等机械磨损现象，轻度的磨损可通过特征提取等方式进行改善，而重度的磨损无法通过图像处理的方法得到连通区域。
2.2 连通域与Hough梯度结合法
以连通域方法为基础，添加Hough梯度法中高斯滤波与膨胀腐蚀的图像处理方式，以达到增强特征提取效果的目的，具体流程，如图1所示。
图1 连通域与Hough梯度结合法流程Fig.1 Connected Domain and Hough Gradient Combination Process
Canny边缘检测后得到二值图，为了尽可能减少噪声对边缘检测结果的影响，所以必须滤除噪声以防止由噪声引起的错误检测。通过高斯滤波的方法，使用高斯滤波器与图像进行卷积，可以很好的平滑图像，以减少边缘检测器上明显的噪声影响。二维高斯函数，如式（2）所示。
其中，参数σ决定了高斯函数的宽度，而高斯卷积核大小的选择将影响Canny检测器的性能。尺寸越大，检测器对噪声的敏感度越低，但是边缘检测的定位误差也将略有增加。因此选用标准参数σ=1.4，高斯滤波器内核大小为（5×5）。
在对图像进行高斯滤波后，进行全局二值化处理，由于纱笼和纱杆是由同一种材料构成，阈值化类型表达式，如式（2）所示。
利用形态学的膨胀（dilate）和腐蚀（erode）操作提取边界，由于纱杆底端用来辅助固定筒子纱的圆盘上有波浪形的圆环，光线照射会发生漫反射，且圆盘形状与待测区域形状极为相似，如图2所示。
图2 背景干扰Fig.2 Background Interference
此过程一方面可以去除高斯滤波后包含在目标区域内剩余的小颗粒噪声，一方面可以去除由待测物体在使用过程中产生的腐蚀、断裂等机械磨损现象导致的区域不连通的情况，将二值图中存在细微断裂的区域连接起来，填补目标区域中存在的空洞，减少后续计算的潜在错误。由于背景干扰有大有小，所以核的选取适中即可，设定内核大小为（3×3）。
膨胀方法，如式（4）所示。
腐蚀方法，如式（5）所示。
经过边缘检测算子处理过的二值图像，即可得到完整的图像连通区域，获得k个区域，如图3所示。膨胀腐蚀提取后的图像非常连贯且平滑，相比于Hough梯度法输出的二值图，圆形特征更加明显，噪声干扰更小，再通过结合法对平滑后的图像进行填充，增强连通区域的特征，便于后续对二值图的使用。
图3 Hough梯度法与结合法二值图效果对比Fig.3 Comparison of the Effect of Binary Graph of Hough Gradient Method and Combined Method
检测每一个连通区域的最外围轮廓，忽略内层的轮廓，保存轮廓上拐点信息，再将其进行填充，计算每一连通区域的面积Sk图像，判断Hough梯度法得到的圆心是否在连通区域Lk内。
对轮廓图像中的每一个非零点()xi，yi，用Sobel算子计算梯度。该算子包含两组（3×3）的矩阵，分别为横向卷积因子Fx及纵向卷积因子Fy，将之与图像作平面卷积，即可分别得出横向及纵向边缘检测的图像灰度值Gx、Gy。
*—卷积；
A—输入图像。
计算梯度方向θ，如式（8）所示。
计算梯度G，如式（9）所示。
遍历轮廓图中的非0点，沿着梯度方向和反方向画线段，线段的起点和长度由参数允许的半径区间决定，将线段经过的点在累加器中记数，按照降序排列，选择最优的候选中心。
接下来计算每一个中心所有轮廓图中的非0点离圆心的距离，并从小到大排序。从最小半径开始计算到最大半径，距离相差在一个小量范围内的点，都认为是同一个圆，记数属于该半径r的非0点数，记为n。依据点的线密度计算式（10）所示：
密度越高，半径的可信度越大，那么最优半径的中心得到最充分支持，从而获取圆心坐标(xH，yH)。若Hough梯度法得到的圆心坐标()xH，yH不在某一连通区域L0内，则说明视觉识别出的图像只为实际纱杆端面的一部分，纱杆杆头可能存在损坏严重的现象，不能继续使用，输出坐标信息若为(0，0)，则需要对该纱杆进行安全检查。
若Hough梯度法得到的圆心坐标()xH，yH在某一连通区域L0内，则计算每一个连通区域Lk的矩、中心矩以及质心坐标。
一阶矩计算，如式（11）所示。
中心矩计算，如式（12）所示。
质心，如式（13）、式（14）所示。
其中，P(i，j)为图像在坐标点(i，j)处的灰度值，由于所求区域为均匀分布，近似为规则圆形，所以求出的质心坐标(xk，yk)即可表示为待测区域的中心坐标。
最后，将圆度值和区域面积的大小作为筛选满足条件区域的最终判据。遍历区域轮廓的点，迭代找出最左边、最右边、最上边、最下边的四个点，求出包围这四个点的最小圆Ck的圆心和半径Rk。通过检测区域Lk的圆度判断待检测的对象是否为圆形，其数学公式，如式（15）所示。
式中：lk—区域轮廓的周长，Dk的大小越接近1，那么待检测区域越接近圆形，当Dk=1时，检测区域是标准的圆形。
一方面，视觉相机与纱杆顶面的距离可通过Z坐标调整控制在（200～300）mm之间，相机距离纱杆越近，采集到的纱杆顶端图像就会大，待检测的区域面积就会越大，反之亦然，所以区域面积的阈值范围设定在（700～3000）像素之间；
另一方面，经过图像预处理后的待检测区域仍会轻度的畸变，只能近似的看作圆形，所以圆度的阈值大于0.75。对筛选后的质心坐标进行排序，这里最多只能得到一组坐标，输出第一组坐标()x0，y0即为所求纱杆顶端圆心坐标。
经过实验测试，连通域与Hough梯度法相结合的方法可以非常准确的给出坐标信息，不会出现检测结果不稳定的现象，配合膨胀腐蚀的方法，可以减少外部环境产生的干扰。
3.1 纱笼坐标检测机器人系统结构
机器人的主体结构设计为门架式结构，如图4所示。可实现X轴、Y轴、Z轴和A轴四坐标运动控制，Z轴搭载筒子纱自动装卸手爪机构，侧面安装视觉系统，纱笼回转工位A轴采用回转支撑结构，用于染纱过程旋转纱笼。染整车间纱笼由120 根纱杆组成，纱杆的安放位置设计成等边三角形排列，每根纱杆之间相距170mm，纱杆高度1500mm，纱杆顶端平面圆直径7mm，有直径5mm螺纹孔。视觉系统，如图5所示。
图4 机器人结构和纱笼Fig.4 Robot Structure and Sarong
图5 视觉相机和环形光源放大图Fig.5 Enlarged View of Vision Camera and Ring Light Source
采用大恒图像水星系列GigE数字摄像机，是一款工业相机，型号MER-032-120GM-P，分辨率656（H）×492（V），帧率120fps，焦距8mm。相机配有一个环形光源，亮度（30000～35000）LUX以上，可增强检测平面的亮度，同时弱化其他背景的干扰程度。为了获得更高的分辨率，相机镜头会尽可能的靠近所检测的物体，但过近的距离也会导致透视失真，相机镜头会因畸变导致像差，同时为保证视场范围内只有一根完整的纱杆出现，设定检测对象到相机镜头距离为（200～300）mm。现场采用ProfiNET总线连接伺服电机，通过西门子S7-1200系列PLC控制器，实现对三坐标轴的实时控制，通过工业以太网连接触摸屏上的人机交互界面和视觉系统，使用OPC 通讯协议实现人机信息交互及系统间通讯，控制系统硬件组成，如图6 所示。
图6 控制系统硬件组成Fig.6 Control System Hardware Composition
3.2 测试
机器人系统设计之初，为将工作效率达到最高，拟采用将摄像头一次拍摄一个完整纱笼的方式，把相机放置在纱杆杆顶平面上方较远的位置，即在一张图片上呈现出整个纱笼120根纱杆的顶端圆心坐标。每运送来一个纱笼，就可以一次性的显示出该纱笼上所有纱杆的测量数据。这种方案时间短，效率高，但不能保证每一根纱杆的顶端圆心坐标都能准确识别出来，且纱杆与坐标的对应关系建立较为复杂，若有纱杆识别不出来的情况出现，则容易使测量系统发生错误。因此，为保证测量数据的准确性，采用逐杆检测的方式。
首先，现场随机运送来一个无纱的纱笼，把大恒相机、环形光源以及西门子PLC 等硬件设备通过交换机连接到PC 机并设置IP，使其能够在同一IP段，软件系统成功连接相机和PLC。
其次，设定机器人Z轴坐标，测试过程中保持不变，调节相机焦距与光源亮度，尽可能的减少外部环境带来的干扰，主要是由纱杆底盘造成的干扰。
然后，通过人机交互界面正常启动相机并采集图像，与PLC正常通讯并能进行读写数据，同时能完成一整个纱笼的坐标检测工作，获得输出结果。将输出的坐标信息与纱杆圆心坐标的基准值作对比，得到纱杆偏离度数据，即方向和距离。
每一根纱杆的图像采集只需（200～300）ms，一个纱笼运行完整的坐标检测功能只需约6min，相比于人工检测大大节省了工作时间和劳动量，提高了检测效率。
针对当前环境，相机焦距3.8mm，光强40%，采集到的实验图像，如图7所示。此根纱杆经过长期使用，杆头已经出现明显的磨损，通过对比可以看出，Hough梯度法虽然能准确地识别出待测区域，但会把近似圆形的背景噪声也当作待测区域，从而获得两个圆形，影响坐标值的准确性。由于待测区域不连通，连通域法无法准确识别，从而没有坐标值输出。结合法能够更稳定的识别出待测区域，不会被背景噪声和杆头磨损等因素影响，鲁棒性更好。
图7 Hough梯度法、连通域法与结合法效果对比Fig.7 Comparison of Hough Gradient Method,Connected Domain Method and Combination Method
改变现场环境，进一步对视觉系统进行测试，调节光照强度和相机焦距，如图8所示。均能准确识别出待测区域。
图8 现场不同相机焦距和光照强度下的测试结果Fig.8 Test Results at Different Camera Focal Lengths and Light Intensities
上位机显示的人机交互界面，如图9所示。各部分代表的意义如下：
图9 人机交互界面Fig.9 Human-Computer Interaction Interface
（1）视觉相机采集到的原始图像。
（2）连接部分，设置IP地址，同KEPServerEX软件相连接。
（3）主控制窗口，控制相机采集，选择视觉程序执行标定、定位和检测的功能。
（4）视觉程序处理后的效果图。
（5）程序运行时的消息响应窗口，刷新数据信息。
（6）读写PLC中的数据，显示其变量名称、时间、值和状态。
3.3 误差分析
由于纱杆高度1500mm，纱杆的顶端圆面直径为7mm，所以纱杆杆头偏移量不能太大，过大在实际生产中易产生危险，影响正常工作，圆心坐标的许用误差为±10mm，应控制坐标误差在1mm以内。
对机器人系统进行误差分析，随机选择一根纱杆，控制机器人运行至其基准坐标，进行数据采集。保持X轴坐标不变，机器人沿Y轴每次运动1mm距离，记录视觉程序输出的坐标信息，该坐标的X值应保持不变，Y值对应运动1个比例尺的距离。如图10（a）所示。X坐标值在11.52到11.73范围内波动，近似一条直线，由机械振动产生的误差控制在0.3个像素内，可忽略不计；
Y坐标值在点（11.73,69.36）处有轻微浮动，但整体近似呈线性增长，证明视觉相机的检测结果基本不会因检测区域的移动而产生畸变。同理，Y轴坐标不变，机器人沿X轴每次运动1mm距离的数据，如图10（b）所示。因此，这里提出的机器人系统对坐标定位准确。
图10 机器人系统误差分析Fig.10 Robot System Error Analysis
对检测数据精度进行分析，抽取10个纱笼，对每个纱笼进行视觉检测程序，计算坐标偏离度数据，得出每个纱笼检测坐标的均值，均方差值，如图11（a）所示。在X方向上波动微小，较为稳定，误差限制在0.25%以内；
如图11（b）所示。在Y方向上误差有起伏，相对X方向较大，但均能保持在1mm 以内，精确值可以达到95%。
图11 机器人系统精度分析Fig.11 Robot System Accuracy Analysis
3.4 结果分析
在相同环境下对Hough梯度法与结合法的检测结果对比，如表1所示。
表1 Hough梯度法与结合法检测结果对比Tab.1 Comparison of Two Methods
通过上述实验可以看出，背景噪声干扰对Hough梯度法造成很大负面影响，虽然识别率还算可观，但识别效果的准确性只能达到一半，并且输出的坐标值波动性较大，计算出的偏离数据不能正常使用。除个别杆头磨损非常严重已需要更换的纱杆外，结合法可以有效降低外部环境造成的背景干扰和数据波动，更准确地识别出纱笼上每一根纱杆的坐标，检测结果能够达到工人手动测量的精确性，并且数据稳定，能够适应不同光照强度以及相机焦距的改变。
这里提出的结合连通域和Hough梯度的顶端圆检测方法，是一种改进的霍夫梯度变换方法，通过高斯滤波和膨胀腐蚀的图像处理方式把二值图的特征更好地提取出来，使待测区域更加清晰，避免了背景噪声的干扰，梯度计算的补充使得磨损杆头也能准确识别。本次实验通过对10个纱笼的测试，1200根纱杆的图像采集，验证了基于机器视觉的结合法能快速并且稳定地给出纱杆顶端圆心坐标，完成一个纱笼的坐标检测只需6min，通过误差和结果分析，坐标信息的误差限制在1mm以内时，其准确率和稳定性能够达到95%。视觉算法搭配运动控制系统，组成的机器人系统，可以代替工人手动检测，有效节省数据采集时间，大大提高检测效率，满足工场实际检测需要，同时可以应用扩展到背景噪声干扰复杂的检测圆心坐标的其他领域，实现相似的功能。
猜你喜欢 结合法圆心梯度 基于应变梯度的微尺度金属塑性行为研究九江学院学报(自然科学版)(2022年2期)2022-07-02数形结合法在初中数学解题中的应用快乐学习报·教师周刊(2021年37期)2021-02-07一个具梯度项的p-Laplace 方程弱解的存在性华东师范大学学报（自然科学版）(2019年3期)2019-06-24内容、形式与表达——有梯度的语言教学策略研究福建基础教育研究(2019年3期)2019-05-28用两圆有公共点的充要条件解题新高考·高一数学(2018年8期)2018-12-03航磁梯度数据实测与计算对比研究西部资源(2018年1期)2018-11-01例谈数形结合法的广泛应用祖国(2018年3期)2018-03-26数形结合法的两个运用课程教育研究·学法教法研究(2016年27期)2017-04-21参考答案数学教学通讯·初中版(2014年1期)2014-02-14四种方法确定圆心和半径数学大世界·初中生辅导版(2010年2期)2010-03-08