Artificial Intelligence and Robotics Research
Vol. 08  No. 03 ( 2019 ), Article ID: 31764 , 9 pages
10.12677/AIRR.2019.83014

Research on Automatic Detection Method of Plate Surface Defects Based on Machine Vision

Yuanmin Huang, Ming Yi, Man Yang, Yuqing Luo

College of Mechanical and Electrical Engineering, Foshan Vocational and Technical College, Foshan Guangdong

Received: Jul. 27th, 2019; accepted: Aug. 13th, 2019; published: Aug. 20th, 2019

ABSTRACT

The surface defect of wood sheet not only directly affects the appearance and quality of the product, but also is one of the important factors affecting the classification of wood sheet. The surface quality of wood sheets is an important index for evaluating the quality of wood sheets, and it can also reflect the rationality of processing methods. Because there are many kinds of surface defects, the size and appearance of the same kind of defects are also different. On the one hand, this detection method is easy to be affected by human factors, which cannot avoid the occurrence of false detection and missed detection, thus affecting the quality of sheet metal; on the other hand, it wastes a lot of manpower and financial resources and improves the quality of sheet metal. This reduces the competitive advantage and wastes valuable forest resources. In this paper, an automatic inspection method for surface defects of sheet metal using industrial machine vision language is proposed. This method uses a new improved algorithm to solve the registration problem of sheet metal image. A hybrid intelligent model is established by synthesizing artificial neural network, fuzzy technology and genetic algorithm, and the surface defect detection of sheet metal is realized by using artificial neural network technology. At the same time, an automatic detection device for surface defects of sheet metal is designed, which can also be sorted according to product grade. This will greatly reduce production costs, reduce the human interference factors in product testing process, achieve a high degree of automation in product production, improve product quality, and can produce good social and economic benefits.

Keywords:Machine Vision, Defect Detection, Algorithm

基于机器视觉的板材表面缺陷自动检测 方法研究

黄远民,易铭,杨曼,罗瑜清

佛山职业技术学院,机电工程学院,广东 佛山

收稿日期:2019年7月27日;录用日期:2019年8月13日;发布日期:2019年8月20日

摘 要

木质板材的表面缺陷不仅直接影响该产品的外观和质量,而且是影响板材分等级的重要因素之一。木质板材的表面质量是评估板材质量的重要指标,同时也能反映加工方法的合理性。由于板材表面缺陷种类有多种,同类缺陷在大小和外观形态上也各有差异,这种检测方式,一方面容易受人为因素影响,无法避免错检、漏检等情况发生,从而影响板材的质量;另一方面,浪费了大量的人力、财力,提高了成本,降低了竞争优势,还浪费了宝贵的林木资源。本文提出利用工业机器视觉语言对板材表面缺陷自动检测方法。该检测方法采用一种新的改良算法,解决了板材图像的配准问题;通过综合人工神经网络、模糊技术和遗传算法,建立了一种混合智能模型,利用人工神经网络技术,实现板材的表面缺陷检测。同时,设计出一种自动检测板材表面缺陷装置,该装置还可以按产品等级进行分拣。这样大大降低生产成本,减少产品检测过程的人为干扰因素,实现产品生产高度自动化,提高产品质量,能够产生很好的社会和经济效益。

关键词 :机器视觉,缺陷检测,算法

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着世界经济的快速发展,人们对板材资源的需求量越来越多,我国无论是对板材的生产还是消费都占有很大的市场。在国内需求方面,我国正在进行快速的建设,这需要占用大量的板材资源;在对外出口方面,我国板材的出口不但是我国经济发展的重要支撑,同时也为其他国家提供了丰富的板材资源。由此可以看出,我国的板材产业处于一个十分重要的地位。然而,由于人们乱砍滥伐,过度使用森林资源,使得我国的森林覆盖率越来越小,这也引起了许多环境和气候的问题。面对诸多问题,在增强人们的环境保护意识、植树造林、绿化家园的同时更应该考虑如何利用新技术,加强对板材资源的利用。

目前,木质板材是应用需求量最大的品种,木质板材的表面缺陷不仅直接影响该产品的外观和质量,而且是影响板材分等级和实现合理下锯的重要因素之一 [1]。木质板材的表面质量是评估板材质量的重要指标,同时也能反映加工方法的合理性。因此对木质板材表面缺陷的检测和分类是非常重要的工作。在我国的木材生产领域,大部分生产还处在半机械甚至原始的人工生产状态,板材分选及产品分等主要依靠人工视觉与经验,根据板材的构造特性、颜色、色泽、纹理等来评价 [2]。由于板材表面缺陷种类有多种,同类缺陷在大小和外观形态上也各有差异,这种检测方式一方面容易受人为因素影响,无法避免错检、漏检等情况的发生,从而影响板材的质量;另一方面,浪费了大量的人力、财力,提高了成本,降低了竞争优势,还浪费了宝贵的林木资源。

目前常用的检测方式包括人工检测、射线检测、机械检测以及机器视觉检测等 [3]。其中,人工检测的效率很低、质量差、工人劳动强度大,检测可靠性取决于主观因素;机械检测通常是接触式检测,检测过程需要对被检测件进行位置调整,因而效率较低;射线检测可以实现高分辨率,但是结构复杂、造价高。这些方法具有以下突出的弊端:

1) 抽检率低,不能百分之百反映板材表面的质量,尤其是对于加工过程中产生的大量非周期性缺陷存在漏检;

2) 实时性差,远远不能满足在线高速的生产节奏;

3) 缺乏检测的一致性、科学性,检测的置信度低;

4) 人工检测很容易造成漏检和误判。

因而,适时地开展板材表面缺陷在线无损检测技术的研究工作具有重要意义,目前检测的实时性、精确性已成为国内外学者研究的热点。根据以上几种情况的介绍可以看出使用智能化的机器代替人工对木质板材进行检测是很有必要的。采用工业机器视觉技术和图像处理技术对板材表面缺陷图像进行处理,以实现板材表面缺陷的自动检测与识别,这不仅对板材等级自动分选、提高板材利用率、提高板材的商品价值和实现木材加工自动化具有非常重要的意义,而且对这对提高板材的生产质量、效率具有十分重要的意义。

2. 图像采集系统设计

图像采集系统图示及说明如图1所示。整个系统由机械传动部分、编码器、光源、CCD及图像采集卡组成。其中,机械传动部分由滚轴、传送带及电机组成,为了实现定位的功能在传送带的滚轴上安装一个编码器,同时在传送带的另一端安装一个光电开关。

该系统图像采集的工作原理为:木板放在传送带上,传送带靠电机带动以一定大小均匀速度运动,当传送带上的木板通过光电开关时,光电开关被触发并给图像采集卡发脉冲,此时图像采集卡开始读取CCD的数据。当图像采集到了在把图像数据传送给计算机,利用Halcon10.1程序来检测木板是否合格。

该系统还具有这样的功能检测开始的时候,根据待检测木板的类型,上位机发送木板类型到PLC中,通过控制固定相机丝杆的伺服电机运动把相机运动到相应的位置,当木板运动到相机下方,传感器感应到木板时,发出触发信号,相机接到触发信号后,拍摄木板的照片,采用新的算法处理图像,并把检测结果显示检测系统中,同时把测量结果写入数据库,供日常生产数据分析。检测结果实时显示,测量数据实时保存;制程管理功能,可设置并保存多种规格产品的检测参数;具备数据统计功能,如不良品类型、数量及合格率等,具有SPC统计分析功能。

整个检测装置依据检测要求设计了基于工业机器视觉板材表面缺陷检测基本装置,该检测装置主要由:由上料升降台、上料推板机、上料定位输送台、上料移载机及吸盘架、压机、刮边机等输送装置和检测装置及凉板装置组成如图2所示。

3. 图像处理方法及理论分析

由于木板缺陷检测是生产线上应用的一个实时检测系统,所以该系统具有较强的实时、快速性;因此需要非常大的图像数据量。为了提高系统处理速度,除了采用比较高性能的硬件以外,还需要在软件运算方式和运算速度方面来考虑问题。本系统才用机器视觉(Halcon)语言能够满足系统的要求,同时在选择相应的算法方面也做了相应的考虑。木板缺陷检测主要任务分为:处理、分析提取木板图像,实现木板表面缺陷的自动识别。该系统可分为十三个步骤,如图3所示。从图3流程可得到,经过采集到木板图像以后,共需经历十二个主要的步骤处理采集到的木板图像,即图像预处理、图像增强、中值滤波、

Figure 1. Image acquisition system based on machine vision sheet surface defect detection

图1. 基于机器视觉板材表面缺陷检测图像采集系统

Figure 2. Basic device for detecting surface defects based on machine vision panels

图2. 基于机器视觉板材表面缺陷检测基本装置

Figure 3. Image processing method based on machine vision sheet surface defect detection

图3. 基于机器视觉板材表面缺陷检测图像处理方法

优化傅里叶变换速度、分解图像(R G B)、设定threshold值、提取特征形状、计算两个区域的差异、变换图像形状、扩张有圆形元素地区、选择带有某些特征的区域、显示检测结果、缺陷数据库。

在图像的采集过程中,图像有时会受到光照强度、元器件特性不稳定、感光部件灵敏度等因素的影响,图像的质量或多或少有些退化。图像增强技术就是运用特定的处理,用来调整图像的对比度,变模糊为清晰,突出图像中的重要细节,为下一步的图像分析做准备。本文选用平滑处理来对采集到的图像进行图像争强。图像光滑又称图像滤波,主要是为了抑制噪声,改善图像质量所进行的去噪处理。图像光滑是图像预处理阶段必不可少的一个步骤,这个过程尤为重要,这个过程处理不好,直接影后面的图像分割乃至识别。由于多种因素的影响,采集来的木板图像可能存在着一定程度的噪声干扰,比如采集设备本身具有的噪声,现场光设备的照明亮度不均匀也是噪声产生的原因之一。噪声对后期图像识别产生了影响,如果前期处理不好,很可能在识别时将噪声误认为是木板的缺陷部分,从而导致产品质量的错误检测,影响到缺陷识别的精确度。

因此,在对图像作进一步处理之前,必须去除噪声,从而真正意义上将噪声和图像缺陷区分开来。图像的滤波去噪方法有空间域以及频率域中这两大类型,本文主要阐述前者方法下的均值、高斯、中值这三种光滑去噪算法。本文选用中值滤波法来去除噪声,从而来提高图像质量。与高斯滤波以及均值滤波相比较,中值滤波是一种非线性滤波。在一定条件下,线性平滑滤波在降噪的同时不可避免地造成了图像细节模糊,而中值滤波在有效抑制脉冲噪声的同时模糊效应明显低很多 [4]。

中值滤波器在应用中以排序统计来代替线性滤波器的加权运算。中值滤波的基本思想是:用像索点邻域灰度值的中值来代替l像索点的数值 [5]。例如:采3*3中值滤波器某点(i, j)的8邻域的像索值为:[12,18,18,11,23,22,13,25,118]统计排序结果后为:[11,12,13,18,18,22,23,25,118]则排在第15位的18作为(i, j)点中值滤波的响应g(i, j)。该滤波法主要用途是来抑制脉冲噪声,它不但能够保护目标图像的边缘,同时也很好地过滤掉尖波噪声 [6]。

为了使计算机能够“理解”图像,从而具有真正意义上的“视觉”,需要从目标缺陷中提取与其特征相对应的信息,这一过程被称为特征提取。特征提取是后续图像识别的依据,因此提取出的特征信息必须很好地描述图像,而且还能将不同类型的图像加以区分。一般来说,特征提取没有参考的标准,但还是有些可遵循的原则,如选取的特征对噪声不敏感、特征信息容易获取、提取最具有区分能力的特征。本文主要介绍了几何、形状以及不变矩特征,然后分析并筛选出适合描述木板表面缺陷的若干特征数值 [7] :1) 几何特征是图像的本质特征之一,由于其对图像的描述简单、直观,因此对分析图像很有参考价值。常用的几何特征有:周长、面积、质心等;① 周长:区域的边界长度为区域的周长,即整个连通域的最小外包围轮廓线的长度,本文采用的方法:把像素点看作一个一个的点时,则可以用链码来表示周长,求链码长度即求周长;② 面积:物体总尺寸的度量可以用面积来表示,面积是最自然最简单的区域属性,面积同它内部灰度级的变化无关,只跟物体的边界相关,广义上来说,区域面积可定义为区域内部(包括边界上)的像素个数;③ 质心质心即图像中物体的面积中心,经过图像分割后的二值图像的质量分布是均匀的,因此图像的质心同它的形心重合。2) 一般情况下,图像的形状特征很难自动提取,所以,很多研究尝试使用不同元素来表征图像的形状,常用的有圆形度、伸长度、矩形度等。① 圆形度:图像边界的复杂程度可用圆形度来表征,本文采用度量圆形度最常用的致密度,致密度的定义如下式所示:其中L表示区域的周长,s表示面积;② 伸长度:连通域最小外接矩形的长度与宽度的比值称为伸长度,其中最小外接矩形是通过离散步幅旋转直到面积达到最小值来确定的;③ 矩形度:矩形度的定义是物体的面积与最小外接矩形面积的比值的充满程度 [8]。3) 不变矩是指物体图像经过平移、旋转以及比例变换仍保持不变的矩特征量 [9]。

综合上所述,对木板表面缺陷检测主要过包括以下几点:

1) 图像预处理:在对采集到的图像处理之前,应该对图像进行预处理。在获取图像的过程中,由于各种因素的影响包括摄像设备参数限制以及周围环境的变化等,使获取的图像无法达到我们所期望的理想效果,图像预处理的目的是为了改善给定的图像或增强其中一些比较重要的图像特征来满足实际需求。

2) 图像增强:图像增强的首要目标是处理图像,使其比原始图像更加适合于某些特定的应用场合,原理是通过一定的方法在原始图像上附加一些信息或对图像进行数据变换,来突出图像中所感兴趣的区域或抑制图像中一些不必要的特征,从而使图像与视觉响应特性相匹配。图像增强的通用理论是不存在的,因为当图像为视觉解释而进行处理时,都是由观察者最后判断特定方法的效果 [10] [11]。常用的方法有:a) 灰度变换b) 平滑处理。由于图像平滑通常是用于图像的模糊处理或者是减少噪声,如在提取大的目标之前去除图像中的一些琐碎细节、曲线的缝隙和桥接直线 [12] [13],所以本文选用平滑处理来对采集到的图像进行图像争强。

3) 分解图像(R G B):通过该算法把采集到的彩色图像转换成黑白图像,便于后面设定特定的threshold值(对于灰度值小于阈值的象素直接设置灰度值为0;灰度值大于阈值的象素直接设置为255),通过threshold值来提取图像。

4) 通过设定特定的threshold值来提取图像,再利用提取特征形状、变换图像形状算法来提取具有一定特征的图像。

5) 利用计算两个区域的差异算法来对比两者的信息,最后通过选择带有某些特征的区域算法来提取木板有没有缺陷,显示出相应的缺陷。

6) 利用缺陷数据库管理对已经检测出来的各种木板表面缺陷图像信息进行保存并且对各种缺陷进行编号,这样就便于产品出货跟踪和管理。

4. 实验结果与分析

用本文方法对木板表面缺陷进行检测,检测结果如下图所示(图4~7)。

Figure 4. Undefected wooden board

图4. 没有缺陷的木板

Figure 5. The chipped wood

图5. 崩边的木板

Figure 6. Chipping and dirty planks

图6. 崩边和脏污的木板

表1是对某国内大型木板贴面厂现场采集到的几种缺陷样本进行缺陷检测的结果。

从实验结果可以看出,采用本文的方法对木板表面进行检测得到了令人满意的检测结果。

Figure 7. Cracked wooden board

图7. 开裂的木板

Table 1. The statistics of experimental results

表1. 实验结果统计表

5. 结论

基于机器视觉图像处理的检测技术发展已经日趋成熟。在企业生产和社会生活中的应用也比较广泛。但是这些技术在木材行业中应用相对比较少,随着木材行业的发展和对板材产品需求量的争加,尤其是对板材表面质量要求的不断提高,其质量会严重影响板材的生产质量,所以,对板材表面质量的控制也是很重要的一项工作。因此研究基于机器视觉图像处理技术在木材生产中是非常有必要的,不仅具有一定的理论价值也更具有实际的应用价值。本文主要工作如下:

1) 提出了基于机器视觉的板材表面缺陷检测系统的总体设计方案。

2) 简述木板表面缺陷检测系统组成机构和介绍了一些基于机器视觉图像处理的基本算法流程(如图3所示)。

3) 采用本文的检测方法可以降低劳动强度、降低生产成本,降低产品检测过程的人为因素,实现产品生产的高度自动化,提高产品检测质量,能够产生很好的社会和经济效益。

文章引用

黄远民,易 铭,杨 曼,罗瑜清. 基于机器视觉的板材表面缺陷自动检测方法研究
Research on Automatic Detection Method of Plate Surface Defects Based on Machine Vision[J]. 人工智能与机器人研究, 2019, 08(03): 109-117. https://doi.org/10.12677/AIRR.2019.83014

参考文献

  1. 1. Zheng, H., Kong, L.X. and Nahavandi, S. (2012) Automatic Inspection of Metallic Surface Defects Using Genetic Algorithms. Journal of Materials Processing Technology, 125-126, 427-433.

  2. 2. Liang, R.Y., Ding, Y.Q., Zhang, X.W. and Chen, J. (2008) Copper Strip Surface Defects Inspection Base on SVM-RBF. 2008 Fourth International Conference on Natural Computation, Jinan, 18-20 October 2008, 41-45. https://doi.org/10.1109/ICNC.2008.271

  3. 3. Zhong, K., Ding, M. and Zhou, C. (2014) Texture Defect Inspection Method Using Difference Statistics Feature in Wavelet Domain. Systems Engineering and Electronics, 26, 660-665.

  4. 4. Zhang, X.W., Liang, R.Y., Ding, Y.Q., et al. (2018) The System of Copper Strips Surface Defects Inspection Based on Intelligent Fusion. 2008 IEEE International Conference on Automation and Logistics, Qingdao, 1-3 September 2008, 476-480.

  5. 5. Li, T.S. (2009) Applying Wavelets Transform, Rough Set Theory and Support Vector Machine for Copper Clad Laminate Defects Classification. Expert Systems with Applications, 36, 5822-5829. https://doi.org/10.1016/j.eswa.2008.07.040

  6. 6. 德国MVTec公司. Halcon//Quick Guide用户参考手册[M]. 2009.

  7. 7. Chen, Q.R., Lu, Q.S. and Chen, L.Z. (2005) Identification of Motion Blur Direction from Motion Blurred Image by Direction Derivation Method. Journal of Graphic and Image, 10, 590-595.

  8. 8. Zhang, Y. and Kovacevic, R. (2002) Real-Time Sensing of Sag Geometry during GTA Welding. Journal of Manufacturing Science and Engineering, 119, 151-160. https://doi.org/10.1115/1.2831090

  9. 9. Pong, T.C., Shapiro, L.G. and Watson, L.T. (1984) Experiments in Segmentation Using Face Model Region Grower. Computer Vision, Graphics and Image Processing, 25, 1-23. https://doi.org/10.1016/0734-189X(84)90046-X

  10. 10. 尹建新, 楼雄伟, 黄美丽. 灰度直方图在木材表面缺陷检测中的应用[J]. 浙江林学院学报, 2008, 25(3): 272-276.

  11. 11. 郑志霞, 黄元庆, 冯勇建. 基于机器视觉的板材表面缺陷检测方法[J]. 莆田学院学报, 2016, 23(5): 43-47.

  12. 12. 李鸿艳, 冯新喜, 王芳. 一种新的机动目标模型及其自适应跟踪算法[J]. 电子与信息学报, 2004, 26(6): 966-970.

  13. 13. 孙双花. 视觉测量关键技术及在自动检测中的应用[D]: [博士学位论文]. 天津: 天津大学, 2007.

期刊菜单