引 言
中国是全球微型电机的第一大生产国,2019年中国微型电机产量达136亿台,占全球73.9%。目前微型电机产品已有数千品种,下游应用涉及各行各业。电机制造工序多,涉及精密机械、精细化工、微细加工、磁材料处理、绕组制造、绝缘处理等工艺技术,简而言之,微型电机行业是劳动密集型、技术密集型产业。
微型直流电机配质量的在线视觉检测,属于微型直流电机智能制造的关键工序[1]。在电机装配中,端盖面上正负极涂装、电机壳冲压卡接部位、引线、插座等零部件装配质量检测,主要采用人工目视检测,存在劳动强度大、效率低等问题[2]。实现微型直流电机端盖装配质量自动化、智能化检测,有助于提高电机检测技术水平。
中国电子科技集团公司(2017)突破电机铁心的视觉识别与定位算法,提高了机器人适应复杂工况的能力,搭建的系统可实现电机铁心的分拣、搬运和位姿调整[3]。文献[4](2017)为实现小型电机的机器人自动装配,以德国MVTec Software Gmb H公司开发的MERLIC图像处理软件为支撑,实现小型电机装配目标零件定位、锁紧孔位置匹配转角计算和机器人控制三大基本功能,最终控制机器人完成小型电机的自动装配。武汉工程大学(2018)提出了一种基于机器视觉的对比测量方法,通过对待测轴与标准轴图像进行滤波、二值化、边缘提取与最小二乘法拟合直线方程,计算出待测轴与标准轴的左、右边缘差距,经过相机标定实现较高精度的轴承外径尺寸测量[5];文献[6](2020)提出迁移学习和卷积神经网络电力设备图像识别方法,将卷积神经网络在模拟、真实电力设备图像中进行迁移学习,提高学习效率和精度,最终取得93.5%识别准确率。文献[7](2021)在机器人夹持器前端安装视觉定位装置,并研究视觉相机标定和坐标偏移补偿控制方法,提高微型电机外壳冲压件在冲压过程中转送的准确度;中国计量大学(2021)采用改进Faster R-CNN实现水准泡缺陷检测方法,改进融合递归特征金字塔得到多尺度的特征图输出,有效提高模型检测准确度,在测试集上的均值平均准确度达96.7%[8];中国计量大学计量测试工程学院(2021)提出一种面向滚动轴承的改进对抗迁移学习模型,在对抗迁移学习的域判别器中采用卷积结构替换全连接神经网络,实验证明模型具有良好抗干扰能力、更高诊断精度[9]。华南理工大学(2021)面向标准件装配质量检测存在的复杂背景下部件识别问题,研究深度学习实例分割技术,优化了部件装配检测与识别的准确度[10]、实时性能[11]。
结合基于深度学习的图像分类[12]、目标检测[13]、语义分割[14]相关综述,本文在分析微型直流电机端盖装配质量检测需求基础上,提出基于Faster RCNN的微型直流电机端盖装配质量在线视觉检测技术框架,实现装配质量视觉检测。
1 微型直流电机端盖装配质量检测需求分析
微型直流电机端盖上装配的主要零部件有轴体、正极、负极、插座、引出线等,装配质量要求零部件安装到位、冲压脚齐全、正极涂装正确。图1为HRS-365S-14137VC-42L的微型直流电机设计图,合格产品上需要有轴体、红色涂装的正极、3个负极、2个插座以及4个冲压脚。
选用中长焦段镜头、彩色工业相机,调节使工业相机光轴与微型直流电机转子轴重合,使端盖位于像平面中心位置。图2为HRS-365S-14137VC-42L的微型直流电机合格产品图像。
可以看出,端盖、轴体、正极、负极、插座、冲压脚等7种零部件视觉特征各不相同,易于分辨,适合采用深度学习目标检测方法实现端盖及其零部件的识别与定位。考虑到视觉检测的高准确性、在线快速需求,选用具有较高识别准确性的R-CNN系列目标检测模型,尤其是其中实时性能较佳的Faster R-CNN目标检测模型,设计面向微型直流电机端盖装配质量在线快速视觉检测鉴别系统。
2 基于Faster R-CNN的微型直流电机端盖装配质量在线视觉检测技术
微型直流电机端盖装配质量检测需求主要有:端盖装配质量要求系统能实现7种零部件的识别与定位;在线快速视觉检测要求系统具有快速特点,每个微型直流电机端盖装配质量检测鉴别时间不超过0.5 s。图3为基于Faster R-CNN的微型直流电机端盖装配质量在线快速视觉检测鉴别技术流程框图。基本步骤:①离线微型直流电机端盖图片,标注端盖边界框与系列、标注零部件训练识别端盖及其零部件的Faster R-CNN目标检测模型;② 基于Faster R-CNN模型识别端盖及其零部件,得到微型直流电机型号,以及质量良好的零部件数量、类型;③根据该型号微型直流电机零部件数量、类型要求,判断零部件安装是否到位、冲压脚是否齐全、正极涂装是否正确,全部符合为合格品装箱。
2.1 基于Faster R-CNN的端盖装配质量关键特征识别技术
如表1所示,微型直流电机端盖主要包括端盖、轴体、正极、负极、插座、引出线、冲压脚7种零部件。其中不同型号端盖视觉特征、外径明显不同,标注端盖的类型标签还标注上其对应的型号,采用开源标注软件labelme矩形标注工具(rectangle),标注机壳冲压脚、正极、负极及端盖最小外接矩形作为边界框,并为其添加类型标签。以3系端盖,代表着微型直流电机外径最大值在27.0~30.0 mm间的端盖;不同型号的轴体、正极、负极、插座、引出线、冲压脚等的视觉特征较为相似,类型标签直接标注为类型。
图4为微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型,模型的输入是微型直流电机端盖图像,输出预测检测到实例的关键特征,设对象实例数量N,第n个实例的边界框R1-n、分数R2-n、类型标量R3-n(n=1, 2, 3,···, N)。其中:
1)预测边界框 R1-n=(u1-n,v1-n,u2-n,v2-n)、边界框左上顶点 (u1-n,v1-n)、边界框右上顶点 (u2-n,v2-n)。
图4 微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型
2)预测分数R2-n定义域为[0,1],且有,线性度佳,可直接作为置信度分数使用。
3)预测类型R3-n是标量,值域为R3-n∈{0, 1, 2,3, 4, 5, 6},
4)位置信息 P n=(up–n,vp–n)从预测边界框R2-n中计算得到:
Faster R-CNN模型可通过训练,学习不同质量关键特征,系采用随机梯度下降(stochastic gradient descent, SGD)算法对Faster R-CNN模型调优,使其拟合到训练数据集上,训练采用Mini-batch策略,学习率为0.001,分批数2,结合数据量大小,迭代训练次数为500。
训练过程中,可观测分类损失loss_cls、定位损失loss_box_reg、总损失total_loss是否减小,判断Fast R-CNN、Faster R-CNN模型是否收敛;模型完成训练后,以重叠率超过50%的平均准确度AP0.5作为主要评价指标;只要AP0.5≥90%,模型满足应用需求。
2.2 基于Faster R-CNN的端盖装配质量检测技术
清点微型直流电机正极、负极及机壳冲压脚数量方法,具体为:设类型m判别函数fm(R2-n, R3-n):
可见,若预测类型R3-n=m,且预测分数R2-n≥0.9,则 fm(R2-n, R3-n)输出为 1;其他情况时,则fm(R2-n, R3-n)输出为0。则正极数量N1、负极数量N2、冲压脚数量N3、插座数量N4、引出线数量N5、电机轴数量N6分别为:
直接以检测出零部件数量对比装配质量要求的零部件数量,数量全部一致则为装配质量合格。
3 实验研究
采集6种微型直流电机图像共60个,其中36构成训练集,24个构成测试集。在训练集上训练Faster R-CNN模型,训练调优算法SGD、学习率为0.001、Mini-batch策略、分批数 2,迭代训练次数500。即模型将训练500次,每次学习是在训练集中挑选2个图片进行。图5为Faster R-CNN模型训练过程损失曲线。
检测例1:某型号微型直流电机,装配质量要求为轴体1个、正极1个、负极3个、冲压脚4个、插座2个、引出线2个。图6为检测例1输入图像与检测结果。
图像输入Faster R-CNN模型中,输出的对象数量No=14预测边界框R1-n、预测分数R2-n、预测类型 R3-n=[2, 1, 5, 5, 2, 3, 2, 3, 3, 3, 4, 0, 4, 6]。将 R3-n、R2-n代入式⑶可得,正极数量N1=1、负极数量N2=3、冲压脚数量N3=4、插座数量N4=2、引出线数量N5=2、轴体数量N6=1。
零部件安装到位、冲压脚齐全、正极涂装是正确,装配质量合格。
检测例2:某微型直流电机装配质量要求为轴体1个、正极1个、负极3个、冲压脚4个、插座2个。图7为检测例2输入图像与检测结果。
图像输入Faster R-CNN模型中,输出的对象数量No=12预测边界框R1-n、预测分数R2-n、预测类型 R3-n= [0, 2, 3, 2, 3, 2, 2, 3, 3, 4, 4, 6]。 将 R3-n、R2-n代入式(3)可得正极数量N1=0、负极数量N2=4、冲压脚数量N3=4、插座数量N4=2、引出线数量N5=0、轴体数量N6=1。
零部件安装是到位、冲压脚齐全,但正极涂装不正确,装配质量不良。
4 结束语
本文提出微型直流电机端盖装配质量在线视觉检测技术,主要工作为:
1)研究基于Faster R-CNN的端盖装配质量关键特征识别技术,提出微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型,模型可识别端盖、轴体、正极、负极、插座、引出线、冲压脚等7种零部件,模型准确率达到97.3%,实现微型直流电机端盖有关机壳冲压脚、正极、负极等关键键制造质量特征的识别与定位。
2)研发基于Faster R-CNN的端盖装配质量检测技术,通过统计关键特征数量,从零部件安装到位、冲压脚齐全、正极正确涂装三方面评价微型直流电机端盖装配质量。
3)应用本文技术实现不同规格尺寸的微型直流电机端盖装配质量检测,试验结果表明,检测时间不超过0.21 s,能满足微型直流电机端盖装配质量在线视觉检测需求。
参考文献
[1]BHADORIYA A V S, GUPTA V K, MUKHERJEE S.Development of in-pipe inspection robot[J]. Materials Today-Proceedings, 2018, 5(9): 20769-20776.
[2]LEE C, LIM M, KIM C, et al. Reliability analysis of accelerated destructive degradation testing data for Bifunctional DC motor systems[J]. Applied Sciences-Basel,2021, 11(6): 1-9.
[3]王卫军, 徐友法, 赵鹏, 等. 分拣机器人在电机定子铁心生产线上的应用[J]. 微特电机, 2017, 45(9): 30-32+36.
[4]张明建, 曾伟明. 基于机器视觉的小型电机自动装配研究[J]. 制造技术与机床, 2017(6): 124-128.
[5]刘凯, 陈绪兵, 毛金城, 等. 基于机器视觉的电动机转轴轴承安装部位外径对比测量[J]. 轴承, 2019, 478(9): 49-52.
[6]王昕, 赵飞, 蒋佐富, 等. 迁移学习和卷积神经网络电力设备图像识别方法[J]. 中国测试, 2020, 46(5): 108-113.
[7]韩伟, 梁秋华, 段海峰, 等. 视觉控制在微型电机外壳冲压自动送料中的应用[J]. 锻压技术, 2020, 45(11): 162-167.
[8]彭伟康, 陈爱军, 吴东明, 等. 基于改进Faster R-CNN的水准泡缺陷检测方法[J]. 中国测试, 2021, 47(7): 6-12.
[9]杨健, 廖晨茜, 蔡晋辉, 等. 基于改进对抗迁移学习的滚动轴承故障诊断研究[J/OL]. 中国测试: 1-6[2021-08-29]. http://kns.cnki.net/kcms/detail/51.1714.tb.20210708.1412.034.html.
[10]LIU G X, HE B Y, LIU S Y A, et al. Chassis assembly detection and identification based on deep learning component instance segmentation[J]. Symmetry-Basel, 2019, 11(8): 1-12.
[11]JIAN H, LIU G X, HE B Y. Fast semantic segmentation method for machine vision inspection based on a fewerparameters atrous convolution neural network[J]. Plos One,2021, 16(2): 1-13.
[12]刘桂雄, 何彬媛, 吴俊芳, 等. 面向视觉检测的深度学习图像分类网络及在零部件质量检测中应用[J]. 中国测试, 2019,45(7): 1-10.
[13]刘桂雄, 刘思洋, 吴俊芳, 等. 基于深度学习的机器视觉目标检测算法及在票据检测中应用[J]. 中国测试, 2019, 45(5): 1-9.
[14]黄坚, 刘桂雄. 面向机器视觉检测的CNN语义分割方法进展[J]. 激光杂志, 2019, 40(5): 10-16.