线结构光焊缝类型识别及特征提取研究进展
在制造业中，焊接质量对于产品的安全性、可靠性和使用寿命具有重要影响，焊缝质量的检测和评估是质量控制的关键环节。基于线结构光的焊缝特征检测方法是一种非接触、高精度的检测技术，广泛应用于焊缝类型的识别和特征提取。首先详细介绍了线结构光技术的工作原理及其市场分布，强调了这一技术在焊接领域的关键作用。进一步总结了目前焊接领域的研究成果和挑战，如对环境光敏感性和复杂背景的适应问题，以及焊接材料的高反射率和吸收率对检测的干扰。最后，探讨了未来研究方向，包括机器学习技术的融合以增强算法的性能和鲁棒性，以及利用点云技术改进焊缝小轮廓区域的识别，展示了自动化焊接技术在制造业中的重要性和发展潜力。
1 序言
随着工业化的加速，当今工业生产场合对自动化的要求也在日益提高。材料焊接作为工业生产制造不可或缺的一部分，其自动化发展更是受到了广泛的关注。以往的焊接机器人以示教机器人为主，机器人主要通过离线编程进行工作。当工件形状、焊缝位置等发生变化时，需要工人重新引导焊接机器人进行焊接，浪费了大量人力，且很难保证焊缝质量。在这种情况下，基于机器视觉技术的焊接机器人（见图1）应时而出。
图1 搭载视觉传感器的焊接机器人
机器视觉的工作原理是通过相机模拟人眼结构，提取三维信息，借助计算机进行相关计算来对三维物体的形态和运动做出判断。三维视觉根据有无外加光源可分为主动式和被动式两种。主动视觉检测即可以主动投射具有一定结构的光源到被测物体上，再采集由被测物体形貌调制产生深度信息的图像来进行三维视觉测量；被动视觉检测通常采用自然光或环境光，直接采集被测物体不同角度的图像来进行三维形貌、尺寸的测量。线结构光作为一种主动视觉检测技术，由于其对于被测物体表面的材质等具有较强的灵活性，对大尺寸和小尺寸工件有同样高的适应性，并且有较高的稳定性，因此被广泛应用于焊缝识别和特征跟踪等领域。
随着技术的不断发展，自动化焊接作为智能制造的重要环节，其应用领域也将不断地扩大和完善，以适应市场需求。
2 线结构光视觉检测原理
结构光视觉检测系统是一组由投影仪和摄像头组成的系统结构。线结构光技术由SHIRAI于1972年首次提出，其工作原理是通过将结构光投射到待测物体上，形成光条纹，并通过对光条纹的形状、分布和变化进行解析，提取出待测物体的特征信息，进而实现对物体的三维视觉检测。
线扫描结构光测量具体计算原理如图2所示。
由于待测物体表面激光照射点的高度y不同，因此激光线与物体表面相交形成的激光条纹在相机上的成像位置也会随之变化，发生偏移x，此时可通过系统标定及激光中心线提取得到待测物体的高度信息。
虽然线结构光的应用场景较为局限，但由于其测量速度快、适应性强、精度较高、稳定性高和易于实现自动化等优点，常被用于与机器人等自动化设备配合使用，实现自动化焊缝识别和焊接。
3 焊缝类型识别及特征提取
焊缝是利用焊接热源产生的高温，将焊接材料和接缝处的金属熔化连接形成的。在焊接自动化发展的过程中，焊缝类型识别也被认为是焊接相关操作的重要基础。在识别和跟踪不同焊缝类型时，算法的精度和局限性可能不同，且不同的焊缝类型对焊接参数的要求也不同。焊缝特征点作为焊缝特征提取主要针对的目标，包括焊缝上的点和反映焊缝结构特征的相关点，这些点的数量和分布与焊缝类型息息相关。对特征点的提取将直接决定焊接的位置点，是影响焊接质量的重要因素。部分常见焊缝接头特征点图示见表1。
当前，国内外学者利用视觉传感器对焊缝的类型识别及特征提取已经进行了大量研究，研究重点聚焦在图像处理与机器学习两种类型的方法上。焊缝识别方法分类如图3所示。
表1 部分常见焊缝接头特征点图示
图3 焊缝识别方法分类
3.1 基于图像处理的焊缝类型识别及特征提取
基于图像处理识别焊缝的方法主要针对焊缝的几何特征、灰度特征以及不同焊缝模板特征等，对其关键点、特征区域、特征线条进行提取、拟合、匹配等分析。
（1）基于几何特征的焊缝识别 对于线结构光视觉系统采集到的焊缝图像，可将其看作由不同线组成的平面或立体图像，通过图像处理和特征提取技术，可以识别出焊缝的类型和特征。
2018年，LI等提出提取焊缝两个端面直线，通过计算剩余点到端面直线的偏差值来提取两个关键拐点，最后连接两个关键拐点提取第三条特征线，根据特征线条间位置关系判断类型并提取特征点。同年，ZHANG等提出了一种基于三线激光结构光的激光视觉识别方法，采用一种分步分段的激光条纹分割方法来逼近特征点附近的真实焊缝曲线，依据3条特征线之间的夹角值和两个关键拐点之间的距离识别关节类型，提取转折点。这两种方法在实现焊缝识别的原理上大致相同，但是在获取特征线的方式上有明显差别，三线激光相对于单线激光具有较好的抗干扰能力和更丰富的信息，提高了焊缝识别的效率。
2019年，WANG等在对激光中心线进行一系列去噪、简化处理后，结合道格拉斯普克算法与RANSAC分割拟合直线的方法对焊缝的特征点进行识别。该方法对强噪声下的角焊缝识别效果如图4所示，虽然精度较高，但不适用于复杂焊缝。
图4 强噪声条件下的角焊缝识别效果
2022年，徐子恒等利用RANSAC算法和最小二乘法对焊缝和激光条纹进行直线拟合，提取焊缝与激光条纹的交点，基于卡尔曼滤波对求取的交点进行纠偏，提高了焊缝特征提取精度。2023年，李聚才等设计一种基于图像处理的焊缝像素位置自动提取算法，利用Hough变换进行直线检测，获取特征点位置，提取精度较高，但时间复杂度和空间复杂度也偏高。同年，LI等提出了一种快速、准确、鲁棒的多类型焊缝识别算法，首次将激光条纹边界提取和坐标分析方法应用于窄焊缝识别。试验装置及特征线提取结果如图5所示。结果表明，该算法具有良好的抗飞溅和抗电弧干扰能力，为窄焊缝识别提供了有效手段，但需改进对不规则反射的鲁棒性。
以上所述皆是采用同一种方法对多种类型的焊缝进行识别及特征提取，在识别不同焊缝时需要调整不同的参数，算法的灵活性不足，且一种算法对不同焊缝的适用程度通常不一致，可能造成部分焊缝的识别精度不满足生产要求。
a）系统装置
b）V形焊缝特征线提取
图5 基于激光轮廓传感器的窄焊缝接头识别系统
部分文献提出针对特定焊缝采用特定的方法进行识别提取。谢昊等提出一种基于斜率分析的点集分割方法，结合最小二乘法与分段拟合法，快速提取V形焊缝特征信息，精度较高。韩晴清等针对波纹薄板焊缝，对采集图像进行畸变矫正、中值滤波和阈值分割后，建立焊缝图像特征点的数学表达式求解特征点坐标，该方法提取焊缝特征点坐标在X、Y、Z 3个方向上的误差≤0.5mm，单次计算坐标点位耗时在40ms以内。燕煜飞等提出改进的连通域方法标记激光条纹，获取特征点位置坐标，特征点提取效果如图6所示，试验证明该方法的平均误差≤0.067mm，适用于薄板对接式的焊接，但该方法对噪声和干扰较为敏感，可能导致提取结果不稳定。
王瑞琦等针对近无间隙焊缝，通过均值滤波降噪、灰度值与宽度分析，成功识别近无间隙焊缝，但对大间隙焊缝识别效果不佳。王树强等结合顶帽变换、概率Hough变换等算法与改进的相机标定算法，成功提取了相贯线焊缝的特征点坐标，如图7所示。经试验证明该方法对焊缝图像处理算法平均误差为0.26mm，但处理时间仍有待优化，且对复杂焊缝的适应性有待提高。
a）I形焊缝标记特征点信息
b）V形焊缝标记特征点信息
图6 焊缝标记特征点示意
图7 相贯线焊缝特征点识别效果
基于几何特征进行焊缝识别算法的逻辑和计算过程相对直观，实现简单且容易理解，但是对环境、焊件材料等的适应性低，不足以支撑工厂多元化的焊接任务。
（2）基于灰度特征的焊缝识别 基于灰度特征的焊缝识别主要依据焊缝特征区域与非特征区域呈现明显不同的灰度特征，通过比较像素区域的灰度值可以提取到焊缝区域进而识别并提取特征。
王文超等[31]利用线结构光传感与图像形态学处理，提取焊缝中心特征。对焊缝间隙为0.2mm左右的对接焊缝进行试验, 平均误差均≤0.1mm。GAO等通过列灰度差算子、灰度质心算法和随机抽样一致性算法稳定提取可变间隙角焊缝特征位置坐标，提取坐标在Y轴和Z轴方向的平均相对误差均＜0.2%，在工件表面不平整和强反射的情况下仍具有良好的鲁棒性，但对焊接速度的要求较高。成佳明等[33]通过比较相邻像素点灰度与一阶差分值，有效提取结构光线条中心线及特征点坐标，焊缝识别效果如图8所示。经试验验证，该方法识别焊缝坡口尺寸的绝对误差＜0.7mm，相对误差＜3.83%，精度较高，但适应性较差。
a）焊缝原图 b）焊缝识别效果图
图8 焊缝识别效果
基于灰度特征的焊缝识别，由于在实现焊缝识别过程中只考虑灰度特征，对焊缝的类型识别可能存在交叉，因此在提取特征点过程中存在误提取问题。
（3）基于模板匹配的焊缝识别 基于模板匹配的焊缝识别，依据焊缝轮廓设定不同的模板，通过提取关键点、特征线条等焊缝特征区域，采取字符串、对应点位匹配等方法识别焊缝。
DINHAM等提出通过使用二维单应性，结合图像匹配和三角测量，对铁质材料的窄焊缝进行鲁棒识别，该方法可以将焊缝的三维笛卡尔位置计算精度控制在71mm以内。LI等通过预处理、轮廓提取和字符串描述进行焊缝类型识别，动态精度稳定维持在[－3，3]之内，但是对复杂环境的适应能力差。毛羽[36]通过双目立体视觉采集图像，利用改进傅里叶变换和模板匹配法提取焊缝特征点，试验装置如图9所示。该方法可以较好地识别窄焊缝，但是因计算量大而导致其识别效率极低。
图9 线结构光引导焊缝位置识别的示意
基于模板匹配的焊缝识别可以依据具体情况添加焊缝模板，灵活性较强，但是受限于图像处理本身，对于噪声、焊缝材料等的鲁棒性不高。
（4）图像处理方法小结 根据上述文献，焊缝几何特征因其直观和易识别性，成为多数学者的选择。各种基于不同特征的焊缝识别方法各有优劣，各方法具体对比分析见表2。在实际焊接应用中，需要根据具体场景和需求，选择合适的识别方法，以提高多类型焊缝识别的准确性和特定类型焊缝识别的速度。
表2 图像处理方法对比
在现阶段的焊缝特征识别中，由于图像处理具有算法简单、容易实现等方面的优点，因此在智能焊接领域得到广泛应用。然而，这些方法在面对复杂环境、材料多变、特征不明显的焊缝时，缺少有效的识别和提取能力，且实现效果受限于参数调整，还需进一步提升算法鲁棒性。
3.2 基于机器学习的焊缝类型识别及特征提取
机器学习需要大量的标记数据，通过训练学习模型，让模型学习并识别焊缝的特征，自动对输入的焊缝图像进行识别和分类，提取特征点。常见的机器学习算法包括支持向量机、神经网络等。
王秀平等提出一种基于概率神经网络的焊缝类型识别和改进的Steger算法与Hough变换相结合的亚像素级焊缝检测与特征提取算法，该方法对图像质量要求较高，不适用于大部分复杂环境光下的焊接生产环境。XIAO等通过训练快速的R-CNN模型，自动识别焊缝类型并定位激光条纹感兴趣区域，自适应提取焊缝特征，该方法对连续焊缝和间断焊缝的最大跟踪误差分别为0.47mm和0.46mm，平均误差分别为0.29mm和0.28mm，可以适用于多种典型焊缝。ZENG等利用激光曲线上各点的斜率和特征点之间的距离作为特征向量，建立SVM模型识别焊缝类型，该方法识别准确率达到98.4%，单幅图像的识别时间为148.23ms。曾江[41]利用最优支持向量机模型与YOLOV3-Tiny目标检测方法，准确识别多焊缝类型并精确定位V形焊缝位置，焊接结果如图10所示。该方法的抗噪性能较强，识别准确度较高，但对大规模图像处理性能有待提高。
图10 焊接结果
TIAN等提出基于视觉传感器的多类型焊缝自动识别系统，采用激光条纹与光斑映射进行角焊缝定位并设计CNN模型识别点映射特征提高识别精度和鲁棒性，试验装置及试验结果如图11所示。该方法提高了焊缝识别的精度和鲁棒性，但由于缺少对多类型焊缝识别的相关试验，无法判定其适用范围。
吕学勤等结合改进的灰狼算法和最小化参数策略，优化支持向量机，实现对不同焊缝类型进行识别。经试验对比表明，改进后的模型具有极佳的分类效果，识别准确率可达99.63%，运行时间可压缩到4.13s。Lü等提出了一种基于深度学习和极限学习机（ELM）分类器相结合的焊缝坡口类型识别方法，提高焊缝坡口类型自动识别的准确性，试验结果表明该方法的准确率高达99.9%。曹晋晋提出了一种基于改进的Faster-RCNN焊缝特征提取模型，使用ResNet网络优化模型结构，通过扩充样本提高准确度。试验结果如图12所示，使用该网络模型对焊缝特征提取的准确率可达99.6%。但是，由于该算法对硬件系统的要求较高，因此无法适用于大批量的焊缝生产中。
a）系统装置
b）V形焊缝特征线提取
图11 一种基于轮廓映射视觉传感器的多类型焊缝自动识别系统
周思羽等融合注意力机制改进U-Net鲁棒焊缝识别算法，用于复杂环境下的焊缝特征提取，对焊缝特征分类准确率可达98%，但对训练数据的依赖性强，模型的泛化能力有限。WANG等采用DeeplabV3＋识别线性结构光并滤除反射噪声，结合MobileNetV2提高识别效率，膨胀法提取骨架，经三维重建得出焊缝坐标。焊缝特征点P定位效果如图13所示。在不锈钢不规则角焊缝的检测中，系统在Y轴和Z轴的平均检测误差分别为0.3347mm和0.3135mm。
a）焊缝提取结果
b）焊缝提取结果
图12 焊缝特征提取效果图
图13 焊缝特征点提取
机器学习在焊缝特征识别中能够自动学习图像中的特征信息，避免了手动设计特征的繁琐过程。然而，机器学习模型的训练需要大量的标注数据和计算资源。因此，在应用机器学习进行焊缝类型识别及特征提取时，需要综合考虑数据集的规模、模型的设计和调优等因素。
3.3 小结
图像处理虽然在识别焊缝类型时更加简单高效，但是其只适用于极少数规则焊缝条件下。并且实现效果受参数设置和图像预处理的限制，一种方法通常只对一种影响因素展开研究，无法保证鲁棒性；机器学习模型针对焊缝识别中可能面临各种复杂的情况，如光照变化、干扰物等，具有较强的泛化能力，提高了焊缝识别及特征提取的准确性和稳定性，与此同时也牺牲了大量的算力。每种方法皆有利弊，需要针对不同情况选择合适的方法完成自动化焊缝识别。
表3 方法对比
4 结束语
智能焊缝类型识别与特征提取对焊接工艺的优化至关重要。通过前文所述方法的总结，可以得出以下结论。
1）线结构光焊缝识别面临诸多挑战，包括环境光敏感性和对复杂背景的适应问题，以及某些材料的高反射率和吸收率的干扰，需要在未来的研究中重点解决。
2）针对不同的数据集和任务可以结合图像处理和机器学习提高算法性能和鲁棒性。
3）目前的研究多聚焦于图像上的焊缝识别，但图像限制导致难以识别小轮廓焊缝区域，未来研究可考虑应用点云数据和深度学习进行更深入的焊缝类型识别和特征提取。
