ABSTRACT

Due to the advantages of low cost and high efficiency, automatic detection, instead of manual detection, will become the major trend for smart meter character defect detection. However, current automatic detection methods heavily rely on the accuracy of character segmentation. Moreover, they are easily influenced by the image quality, e.g., inclination, noise, and non-uniform intensity of the screen. To this end, this paper proposes a Gaussian pyramid matching based on automatic method without character segmentation. This method first proposes the multi-scale pyramid temples of the standard image. Then, the fast template matching is used to search the characters in the image. Finally, according to the number of characters detected, we can determine whether the meter has defection. Experiments on real meters show that the proposed method is not sensitive to the image quality, and can achieve fast and accurate detection of the screen defects.

Keywords:Screen Defect, Character Detection, Gaussian Pyramid, Matching, Multi-Scale

基于金字塔匹配的智能电表屏幕缺陷自动检测

隋晨红^*，王中训，张骏，贺鹏飞，范文强

烟台大学光电信息科学技术学院，山东 烟台

收稿日期：2017年6月9日；录用日期：2017年6月23日；发布日期：2017年6月29日

摘 要

自动检测具有成本低、效率高的优势，逐步成为智能电表字符缺陷检测领域的主要趋势。然而，目前的自动检测方法依赖于字符分割的准确性，极易受屏幕倾斜、背景噪声或亮度不均的影响。为此，本文提出基于高斯金字塔匹配的自动检测方法。该方法无需字符分割过程，而是首先对模板图像中每个字符，线下提取其多尺度金字塔模板，然后对待检测的屏幕图像，利用快速模板匹配搜索其中的字符，最后依据字符个数判断屏幕是否残缺。研究结果表明：该方法能够避免图像质量的影响，快速、准确地检测屏幕缺陷。

关键词 :屏幕缺陷，字符检测，高斯金字塔，匹配，多尺度

Copyright © 2017 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

智能电表是集双向费率计量、控制、实时监测及用户信息交互等多种功能于一体的智能终端。由于焊接或工艺等问题，电表屏幕存在字符显示不全或不显示的缺陷，严重影响与用户交互信息的正常显示。因此，点亮电表并观察字符显示情况的液晶屏(LCD)缺陷检测成为保证智能电表质量的重要环节 [1] 。

然而，人工检测的人力成本高、时间长，且存在操作不规范的问题。相较而言，机器视觉是一种成本低、效率高的自动检测方式。它通过首先机器代替人眼获取目标的图像，然后结合图像处理与分析技术，达到目标检测或识别的目的，已广泛用于工业生产的外包装检测、零件检测，以及农业水果自动分拣 [2] [3] [4] [5] 。因此，有关机器视觉的电表屏幕字符缺陷检测成为研究热点 [6] [7] 。

针对采集的LCD图像对比度低的问题，文献 [8] 提出利用直方图均衡化的手段进行增强，以提高背景与字符之间的差异。文献 [9] [10] 针对增强后的图像，提出直接通过比较待检测LCD灰度与模板灰度的差值，来判断LCD屏是否存在缺陷。然而，由于电表摆放可能存在倾斜，造成电表图像不对齐，即图像上同一点显示电表的不同位置。因此，LCD图像与模板的差值，不一定说明字符必然存在缺失。此外，无缺陷电表的图像间亦可能存在明暗差异，于是直接利用图像间的差值来判断字符缺陷易导致误检。

为此，文献 [11] [12] 提出抠取图像中的字符与模板字符的差异。该类方法主要包括图像预处理、显示区域提取、字符分割以及缺陷判断四个阶段。文献 [12] 首先进行图像增强，其次通过反投影直方图粗略提取显示屏区域，然后进一步利用Hough变换 [13] 确定屏幕直线边缘，在此基础上，又通过Canny边缘检测 [14] 和投影方法进行字符分割，最后将分割后的字符与模板字符进行平方差匹配。文献提出采用形态学开闭运算，对梯度图像进行重构，以尽可能完整地提取字符边缘。为判断字符是否完整，文献 [11] 提出依据矩形框内文字或符号所占比例大小。该类方法的效果不仅依赖字符分割的准确性，而且对矩形框位置敏感。当字符未得到完整地分割或矩形框位置出现一定偏移量，则会造成误检。另外，电表背光灯位于LCD屏的左半部分，而彩色指示灯位于屏外的面板区。于是，受背光灯及彩色指示灯的影响，LCD屏亮度不均匀 [15] 。这一方面加大了完整提取屏幕区域的难度，另一方面增强了细密纹理对字符分割的干扰，进而导致字符轮廓提取的准确度下降。

为避免对字符分割的依赖，缓解对屏幕图像质量的敏感性，本文提出基于图像金字塔匹配的自动检测方法。它首先对模板图像中每个字符，线下提取其多方向的金字塔特征，以更好地描述字符，并降低亮度不均、纹理噪声，以及图像不对齐等因素对字符检测的影响。然后对待检测的图像，利用快速模板匹配搜索其中的字符，从而避免了屏幕区提取与字符分割。最后依据字符个数判断屏幕是否残缺。利用对比度不同、残缺程度不同的六幅智能电表图像进行实验，结果表明，该方法能够准确地检测出屏幕缺陷。

2. 基于金字塔匹配的自动缺陷检测

智能电表屏幕缺陷检测旨在判断屏幕各个字符是否完整。因此，屏幕缺陷检测要以准确识别屏幕图像中的各个字符为基础。然而，由于电表屏幕字符包含不同大小的汉字、字母、数字，及符号，识别各字符需要构建多尺度特征，以克服字符尺度变化的影响。图像金字塔是常用的多尺度图像特征 [16] 。它通过不断对图像进行滤波和降采样处理，能够生成的一系列不同尺度的平滑图像。这不仅可以降低噪声的干扰，而且能够克服目标尺度变化的影响。为此，本文将首先通过建立各字符的图像金子塔，形成字符多尺度模板集。然后利用模板匹配方法，查找待检测屏幕图像中与已知字符特征相近的字符，从而利用字符个数，来判断电表屏幕是否有缺陷，如图1所示。

2.1. 高斯金子塔

高斯金字塔的主要思想是不断利用高斯滤波器 [17] 平滑和降采样处理生成的低分辨率图像序列，降低噪声的同时，通过图像多尺度的描述来避免目标尺度变化对检测结果的影响。假设原始图像为，经高斯滤波，再隔行隔列地降采样，所得低分辨率图像为。若继续对进行高斯滤波并降采样，所得图像则称为为，如此反复次，则得到尺寸越来越小的低分辨率图像序列，即高斯金字塔。其中，分别代表金字塔中的第层图像。

假设原图的大小为，和分别为高斯金子塔中的第层图像，则对于中的任意一点，可由第层图像获得，如式(1)所示：

(1)

其中，，，是窗口函数或权函数，其大小为。当时，窗口函数通常为 [18] ：

(2)

图1. 基于金字塔匹配的屏幕字符缺陷检测算法流程

于是，若将智能电表屏幕字符按空间位置分组，可构建各组字符的图像金字塔，从而形成字符的不同尺度特征。图2表示时的电表屏幕图像高斯金字塔。

为此，本文将采用标准屏幕图像构造字符模板，进而依据式(1)生成字符高斯金字塔，为屏幕字符检测提供多尺度描述，克服字符尺度变化的影响，便于检测出尺寸不同的相同字符。另外，高斯滤波能够降低噪声点的干扰，提高检测结果的可靠性。

2.2. 归一化互相关匹配

模板匹配是常用的目标检测与识别方法。其基本思想是将标准目标图像作为模板，并在待检测图像中逐像素地滑动模板，通过比较模板和其覆盖子图间的相近程度，确定待检测图像中是否存在与模板一致的目标。

模板匹配主要包括以下三步：首先将已知的标准目标图像作为模板图像，并从中提取用于匹配过程的特征。然后，从待检测图像提取与模板特征对应的特征。最后，基于提取的特征，比较图像中与模板的相似程度，从而确定目标是否存在。

于是，本文将基于字符图像金字塔，从中提取灰度特征进行模板匹配。这不仅有助于检测出不同尺度的字符，而且可避免字符区域定位和字符是准确分割过程，从而有利于提高字符检测的效率和准确度。

目前模板匹配的准则主要分为两大类 [19] ：距离度量准则和相似性度量准则。前者是度量模板与待匹配图像间的平均绝对误差或平方误差和；后者则是计算模板与待匹配图像间的相关性，如归一化互相关。由于距离度量准则要求图像与模板逐像素完全匹配，容易受图像亮度变化的影响，于是本文采用归一化互相关系数来度量匹配程度。设为的待检测图像，若采用的模板在上搜索与之匹配的图像窗口，则左上角移到处时，归一化互相关系数为 [20] [21] ：

(3)

其中，

图2. 智能电表屏幕图像高斯金字塔

于是，对于标准屏幕图像的各种字符，其中为屏幕中不同字符的种类，而每种字符的标准个数为，为匹配阈值，本文提出的基于金字塔匹配的屏幕缺陷检测基本过程为：首先，通过次高斯滤波和降采样技术，生成每种字符的高斯金字塔，从而得到字符高斯金字塔模板集；其次，依据式(3)，计算每种字符模板与待检测图像的归一化灰度互相关系数；然后，统计中大于匹配阈值的数值个数；最后，若，则说明待检测图像与标准屏幕中字符个数一致，若，则确定屏幕字符处有缺陷。算法1给出本文检测方法的算法伪代码。

3. 实验

智能电表屏幕缺陷检测主要检查上电后，电表屏幕字符显示不完整或不显示的情况。然而，电表屏幕图像质量不一，可能会影响屏幕字符缺陷的检测。例如，由于电表屏幕本身质量问题和背景灯的影响，导致上电后屏幕明暗不均，并含程度不同的细纹噪声。此外，彩色指示灯也对屏幕各处的亮度产生影响，进一步加剧屏幕亮度的不均。

因此，为验证基于高斯金字塔匹配的屏幕缺陷检测方法的有效性，本文将对不同质量的屏幕图像进行缺陷检测，观察该方法对图像质量的敏感性。

3.1 实验数据

本文将图3(a)~(f)作为验证本文方法有效性的实验数据，并采用图4所示的电表屏幕图像作为标准模板，用于构建字符金字塔。

图3. 实验数据

由图3可明显看出，背景灯光的亮度差异造成各电表屏幕不仅整体明暗不同、局部存在亮斑。此外，各图还存在不同程度的偏斜。于是，下面将采用客观指标分析这些图像与模板间的差异大小。

3.2. 图像质量评价指标

均方误差(MSE)峰值信噪比(PSNR)均是常用的图像质量评价指标。结构性相似准则(SSIM)能够综合考虑亮度、对比度和结构三方面的因素，客观度量图像的质量。

为此，本文将基于MSE、PSNR和SSIM三种客观质量评价准则，分析不同电表屏幕图像的质量差异。

(1) MSE

MSE主要衡量图像偏离标准图像的程度。式(4)给出大小的图像和模板之间的均方误差，其值愈大，则表明图像的质量愈差。

(4)

其中，分别表示原始图像与标准模板。

(2) PSNR

PSNR主要通过MSE刻画的图像与模板间的亮度差异，来间接反映图像的质量。与MSE不同的是，PSNR值越大，说明图像的质量越高，反之，亦然。如式(5)所示。

(5)

(3) SSIM

图像质量不仅体现在亮度及对比度方面，更受到结构信息的影响。为此，文献 [22] 提出SSIM准则，从亮度、对比度以及结构性多角度考虑图像与模板的相似性，具体如式(6)所示。

(6)

其中，分别是图像与模板的均值，分别是图像与模板的标准差，分别是图像与模板间的互相关，如式(7)所示。

(7)

3.3. 智能电表屏幕图像质量分析

为度量图3(a)~(f)所示各电表屏幕图像的质量差异，分别采用MSE、PSNR、SSIM进行分析，实验结果如表1所示。

其中，(a)~(f)分别对应图3(a)~(f)所示电表屏幕图像，加粗表示最优值。

由表1不难看出，图3(a)~(f)电表屏幕图像存在明显的质量差异，其中，(a)中MSE最大，PSNR最小，而(c)中MSE最小，PSNR最大，这说明图3(a)对应电表屏幕图像与模板间的差异较大，而图3(c)对应电表屏幕图像与模板间的差异较小。

通过对比表1中各电表屏幕图像与标准图像间的SSIM亦可发现，(c)中的SSIM最高，即其与模板间的相似程度最大；(e)中SSIM却最低，仅为0.37，(b)、(d)、(f)略高于(e)却均不及0.5，而(a)中SSIM达到0.57。综合MSE、PSNR、SSIM三个指标可见图4(c)对应电表屏幕图像质量最好，而其它电表屏幕图像存在不同程度的差异。

3.4. 智能电表屏幕图像缺陷检测结果

针对图3(a)~(f)所示的智能电表屏幕图像，图5(a)~(f)给出基于高斯金子塔匹配的检测结果。图中Error表示该电表存在缺陷，红色矩形框标识缺陷字符的位置，而Ok表示该智能电表屏幕字符显示完整。

图4. 电表屏幕标准模板

表1. 电表屏幕图像质量分析

图5. 智能电表屏幕缺陷检测结果

由图5可知，尽管(c)屏幕对比度低且存在不均匀亮斑，但均未对检测结果产生影响，其它屏幕不论质量如何，仍被检测出不同程度的缺陷。其中，(d)、(e)的缺陷程度最为严重，而(b)、(f)虽有缺陷，但完整度较高。

4. 结论

本文提出基于图像金字塔匹配的自动检测方法。该方法首先构建标准屏幕字符的高斯金字塔集，以形成各种字符的多维描述，进而搜索待检测屏幕图像与金字塔集相匹配的字符，最后依据字符个数判断屏幕字符是否存在缺陷。实验结果表明，它不仅能够避免字符分割过程，而且能够有效降低对亮度不均、纹理噪声以及倾斜与不对齐等图像质量因素的敏感性。

基金项目

国家自然科学基金(编号：61601397)、烟台大学博士基金(编号：07060)。

文章引用

隋晨红,王中训,张骏,贺鹏飞,范文强. 基于金字塔匹配的智能电表屏幕缺陷自动检测
Pyramid Matching Based Automatic Screen Defect Detection for Smart Meter[J]. 光电子, 2017, 07(02): 77-85. http://dx.doi.org/10.12677/OE.2017.72012

参考文献 (References)