微型直流电机端盖装配质量在线视觉检测技术

Date

针对目前微型直流电机端盖装配质量采用人工目视检测,存在主观程度高、信息化程度低的问题,该文提出基于区域推荐型卷积神经网络(R-CNN, region-convolutional neural networks)的微型直流电机端盖装配质量在线视觉检测技术。首先,应用Faster R-CNN目标检测方法,实现机壳冲压脚、正极、负极等端盖关键制造质量特征的识别与定位;根据电机型号对应的端盖装配质量需求,统计端盖上关键质量特征类型与数量(如机壳冲压脚及电机正极、负极、引线及插座等),从零部件安装到位、冲压脚齐全、正极正确涂装三方面评价微型直流电机端盖装配质量。初步实验表明,该文方法可实现微型直流电机制造过程不同规格尺寸微型直流电机端盖装配质量视觉检测,单个电机检测时间不超过0.21 s,满足微型直流电机端盖装配质量在线视觉检测需求。

产品中心

联系我们

深圳市恒铭智能设备有限公司
电机行业专家
全国服务热线:13828775826

立即询价

微型直流电机

引 言

中国是全球微型电机的第一大生产国,2019年中国微型电机产量达136亿台,占全球73.9%。目前微型电机产品已有数千品种,下游应用涉及各行各业。电机制造工序多,涉及精密机械、精细化工、微细加工、磁材料处理、绕组制造、绝缘处理等工艺技术,简而言之,微型电机行业是劳动密集型、技术密集型产业。

微型直流电机配质量的在线视觉检测,属于微型直流电机智能制造的关键工序[1]。在电机装配中,端盖面上正负极涂装、电机壳冲压卡接部位、引线、插座等零部件装配质量检测,主要采用人工目视检测,存在劳动强度大、效率低等问题[2]。实现微型直流电机端盖装配质量自动化、智能化检测,有助于提高电机检测技术水平。

中国电子科技集团公司(2017)突破电机铁心的视觉识别与定位算法,提高了机器人适应复杂工况的能力,搭建的系统可实现电机铁心的分拣、搬运和位姿调整[3]。文献[4](2017)为实现小型电机的机器人自动装配,以德国MVTec Software Gmb H公司开发的MERLIC图像处理软件为支撑,实现小型电机装配目标零件定位、锁紧孔位置匹配转角计算和机器人控制三大基本功能,最终控制机器人完成小型电机的自动装配。武汉工程大学(2018)提出了一种基于机器视觉的对比测量方法,通过对待测轴与标准轴图像进行滤波、二值化、边缘提取与最小二乘法拟合直线方程,计算出待测轴与标准轴的左、右边缘差距,经过相机标定实现较高精度的轴承外径尺寸测量[5];文献[6](2020)提出迁移学习和卷积神经网络电力设备图像识别方法,将卷积神经网络在模拟、真实电力设备图像中进行迁移学习,提高学习效率和精度,最终取得93.5%识别准确率。文献[7](2021)在机器人夹持器前端安装视觉定位装置,并研究视觉相机标定和坐标偏移补偿控制方法,提高微型电机外壳冲压件在冲压过程中转送的准确度;中国计量大学(2021)采用改进Faster R-CNN实现水准泡缺陷检测方法,改进融合递归特征金字塔得到多尺度的特征图输出,有效提高模型检测准确度,在测试集上的均值平均准确度达96.7%[8];中国计量大学计量测试工程学院(2021)提出一种面向滚动轴承的改进对抗迁移学习模型,在对抗迁移学习的域判别器中采用卷积结构替换全连接神经网络,实验证明模型具有良好抗干扰能力、更高诊断精度[9]。华南理工大学(2021)面向标准件装配质量检测存在的复杂背景下部件识别问题,研究深度学习实例分割技术,优化了部件装配检测与识别的准确度[10]、实时性能[11]

结合基于深度学习的图像分类[12]、目标检测[13]、语义分割[14]相关综述,本文在分析微型直流电机端盖装配质量检测需求基础上,提出基于Faster RCNN的微型直流电机端盖装配质量在线视觉检测技术框架,实现装配质量视觉检测。

1 微型直流电机端盖装配质量检测需求分析

微型直流电机端盖上装配的主要零部件有轴体、正极、负极、插座、引出线等,装配质量要求零部件安装到位、冲压脚齐全、正极涂装正确。图1为HRS-365S-14137VC-42L的微型直流电机设计图,合格产品上需要有轴体、红色涂装的正极、3个负极、2个插座以及4个冲压脚。

图1 HRS-365S-14137VC-42L微型直流电机设计图
图1 HRS-365S-14137VC-42L微型直流电机设计图

选用中长焦段镜头、彩色工业相机,调节使工业相机光轴与微型直流电机转子轴重合,使端盖位于像平面中心位置。图2为HRS-365S-14137VC-42L的微型直流电机合格产品图像。

图2 HRS-365S-14137VC-42L微型直流电机合格产品图像
图2 HRS-365S-14137VC-42L微型直流电机合格产品图像

可以看出,端盖、轴体、正极、负极、插座、冲压脚等7种零部件视觉特征各不相同,易于分辨,适合采用深度学习目标检测方法实现端盖及其零部件的识别与定位。考虑到视觉检测的高准确性、在线快速需求,选用具有较高识别准确性的R-CNN系列目标检测模型,尤其是其中实时性能较佳的Faster R-CNN目标检测模型,设计面向微型直流电机端盖装配质量在线快速视觉检测鉴别系统。

2 基于Faster R-CNN的微型直流电机端盖装配质量在线视觉检测技术

微型直流电机端盖装配质量检测需求主要有:端盖装配质量要求系统能实现7种零部件的识别与定位;在线快速视觉检测要求系统具有快速特点,每个微型直流电机端盖装配质量检测鉴别时间不超过0.5 s。图3为基于Faster R-CNN的微型直流电机端盖装配质量在线快速视觉检测鉴别技术流程框图。基本步骤:①离线微型直流电机端盖图片,标注端盖边界框与系列、标注零部件训练识别端盖及其零部件的Faster R-CNN目标检测模型;② 基于Faster R-CNN模型识别端盖及其零部件,得到微型直流电机型号,以及质量良好的零部件数量、类型;③根据该型号微型直流电机零部件数量、类型要求,判断零部件安装是否到位、冲压脚是否齐全、正极涂装是否正确,全部符合为合格品装箱。

图3 基于Faster R-CNN的微型直流电机端盖装配质量在线快速视觉检测鉴别技术流程框图
图3 基于Faster R-CNN的微型直流电机端盖装配质量在线快速视觉检测鉴别技术流程框图

2.1 基于Faster R-CNN的端盖装配质量关键特征识别技术

如表1所示,微型直流电机端盖主要包括端盖、轴体、正极、负极、插座、引出线、冲压脚7种零部件。其中不同型号端盖视觉特征、外径明显不同,标注端盖的类型标签还标注上其对应的型号,采用开源标注软件labelme矩形标注工具(rectangle),标注机壳冲压脚、正极、负极及端盖最小外接矩形作为边界框,并为其添加类型标签。以3系端盖,代表着微型直流电机外径最大值在27.0~30.0 mm间的端盖;不同型号的轴体、正极、负极、插座、引出线、冲压脚等的视觉特征较为相似,类型标签直接标注为类型。

表1 端盖装配质量关键特征与类型标签及标量对应表
表1 端盖装配质量关键特征与类型标签及标量对应表

图4为微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型,模型的输入是微型直流电机端盖图像,输出预测检测到实例的关键特征,设对象实例数量N,第n个实例的边界框R1-n、分数R2-n、类型标量R3-n(n=1, 2, 3,···, N)。其中:

1)预测边界框 R1-n=(u1-n,v1-n,u2-n,v2-n)、边界框左上顶点 (u1-n,v1-n)、边界框右上顶点 (u2-n,v2-n)。

图4 微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型

图4 微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型

2)预测分数R2-n定义域为[0,1],且有,线性度佳,可直接作为置信度分数使用。

3)预测类型R3-n是标量,值域为R3-n∈{0, 1, 2,3, 4, 5, 6},

4)位置信息 P n=(upn,vpn)从预测边界框R2-n中计算得到:

Faster R-CNN模型可通过训练,学习不同质量关键特征,系采用随机梯度下降(stochastic gradient descent, SGD)算法对Faster R-CNN模型调优,使其拟合到训练数据集上,训练采用Mini-batch策略,学习率为0.001,分批数2,结合数据量大小,迭代训练次数为500。

训练过程中,可观测分类损失loss_cls、定位损失loss_box_reg、总损失total_loss是否减小,判断Fast R-CNN、Faster R-CNN模型是否收敛;模型完成训练后,以重叠率超过50%的平均准确度AP0.5作为主要评价指标;只要AP0.5≥90%,模型满足应用需求。

2.2 基于Faster R-CNN的端盖装配质量检测技术

清点微型直流电机正极、负极及机壳冲压脚数量方法,具体为:设类型m判别函数fm(R2-nR3-n):

可见,若预测类型R3-n=m,且预测分数R2-n≥0.9,则 fm(R2-nR3-n)输出为 1;其他情况时,则fm(R2-nR3-n)输出为0。则正极数量N1、负极数量N2、冲压脚数量N3、插座数量N4、引出线数量N5、电机轴数量N6分别为:

直接以检测出零部件数量对比装配质量要求的零部件数量,数量全部一致则为装配质量合格。

3 实验研究

采集6种微型直流电机图像共60个,其中36构成训练集,24个构成测试集。在训练集上训练Faster R-CNN模型,训练调优算法SGD、学习率为0.001、Mini-batch策略、分批数 2,迭代训练次数500。即模型将训练500次,每次学习是在训练集中挑选2个图片进行。图5为Faster R-CNN模型训练过程损失曲线。

图5 Faster R-CNN模型训练过程损失曲线
图5 Faster R-CNN模型训练过程损失曲线

检测例1:某型号微型直流电机,装配质量要求为轴体1个、正极1个、负极3个、冲压脚4个、插座2个、引出线2个。图6为检测例1输入图像与检测结果。

图6 检测例1输入图像与检测结果图
图6 检测例1输入图像与检测结果图

图像输入Faster R-CNN模型中,输出的对象数量No=14预测边界框R1-n、预测分数R2-n、预测类型 R3-n=[2, 1, 5, 5, 2, 3, 2, 3, 3, 3, 4, 0, 4, 6]。将 R3-nR2-n代入式⑶可得,正极数量N1=1、负极数量N2=3、冲压脚数量N3=4、插座数量N4=2、引出线数量N5=2、轴体数量N6=1。

零部件安装到位、冲压脚齐全、正极涂装是正确,装配质量合格。

检测例2:某微型直流电机装配质量要求为轴体1个、正极1个、负极3个、冲压脚4个、插座2个。图7为检测例2输入图像与检测结果。

图7 检测例2输入图像与检测结果图
图7 检测例2输入图像与检测结果图

图像输入Faster R-CNN模型中,输出的对象数量No=12预测边界框R1-n、预测分数R2-n、预测类型 R3-n= [0, 2, 3, 2, 3, 2, 2, 3, 3, 4, 4, 6]。 将 R3-nR2-n代入式(3)可得正极数量N1=0、负极数量N2=4、冲压脚数量N3=4、插座数量N4=2、引出线数量N5=0、轴体数量N6=1。

零部件安装是到位、冲压脚齐全,但正极涂装不正确,装配质量不良。

4 结束语

本文提出微型直流电机端盖装配质量在线视觉检测技术,主要工作为:

1)研究基于Faster R-CNN的端盖装配质量关键特征识别技术,提出微型直流电机端盖装配质量关键特征识别的Faster R-CNN模型,模型可识别端盖、轴体、正极、负极、插座、引出线、冲压脚等7种零部件,模型准确率达到97.3%,实现微型直流电机端盖有关机壳冲压脚、正极、负极等关键键制造质量特征的识别与定位。

2)研发基于Faster R-CNN的端盖装配质量检测技术,通过统计关键特征数量,从零部件安装到位、冲压脚齐全、正极正确涂装三方面评价微型直流电机端盖装配质量。

3)应用本文技术实现不同规格尺寸的微型直流电机端盖装配质量检测,试验结果表明,检测时间不超过0.21 s,能满足微型直流电机端盖装配质量在线视觉检测需求。

参考文献

[1]BHADORIYA A V S, GUPTA V K, MUKHERJEE S.Development of in-pipe inspection robot[J]. Materials Today-Proceedings, 2018, 5(9): 20769-20776.

[2]LEE C, LIM M, KIM C, et al. Reliability analysis of accelerated destructive degradation testing data for Bifunctional DC motor systems[J]. Applied Sciences-Basel,2021, 11(6): 1-9.

[3]王卫军, 徐友法, 赵鹏, 等. 分拣机器人在电机定子铁心生产线上的应用[J]. 微特电机, 2017, 45(9): 30-32+36.

[4]张明建, 曾伟明. 基于机器视觉的小型电机自动装配研究[J]. 制造技术与机床, 2017(6): 124-128.

[5]刘凯, 陈绪兵, 毛金城, 等. 基于机器视觉的电动机转轴轴承安装部位外径对比测量[J]. 轴承, 2019, 478(9): 49-52.

[6]王昕, 赵飞, 蒋佐富, 等. 迁移学习和卷积神经网络电力设备图像识别方法[J]. 中国测试, 2020, 46(5): 108-113.

[7]韩伟, 梁秋华, 段海峰, 等. 视觉控制在微型电机外壳冲压自动送料中的应用[J]. 锻压技术, 2020, 45(11): 162-167.

[8]彭伟康, 陈爱军, 吴东明, 等. 基于改进Faster R-CNN的水准泡缺陷检测方法[J]. 中国测试, 2021, 47(7): 6-12.

[9]杨健, 廖晨茜, 蔡晋辉, 等. 基于改进对抗迁移学习的滚动轴承故障诊断研究[J/OL]. 中国测试: 1-6[2021-08-29]. http://kns.cnki.net/kcms/detail/51.1714.tb.20210708.1412.034.html.

[10]LIU G X, HE B Y, LIU S Y A, et al. Chassis assembly detection and identification based on deep learning component instance segmentation[J]. Symmetry-Basel, 2019, 11(8): 1-12.

[11]JIAN H, LIU G X, HE B Y. Fast semantic segmentation method for machine vision inspection based on a fewerparameters atrous convolution neural network[J]. Plos One,2021, 16(2): 1-13.

[12]刘桂雄, 何彬媛, 吴俊芳, 等. 面向视觉检测的深度学习图像分类网络及在零部件质量检测中应用[J]. 中国测试, 2019,45(7): 1-10.

[13]刘桂雄, 刘思洋, 吴俊芳, 等. 基于深度学习的机器视觉目标检测算法及在票据检测中应用[J]. 中国测试, 2019, 45(5): 1-9.

[14]黄坚, 刘桂雄. 面向机器视觉检测的CNN语义分割方法进展[J]. 激光杂志, 2019, 40(5): 10-16.

最新
资讯

滚动至顶部