 Computer Science and Application 计算机科学与应用, 2013, 3, 49-53 http://dx.doi.org/10.12677/csa.2013.31009 Published Online February 2013 (http://www.hanspub.org/journal/csa.html) A Survey of the Research on License Plate Character Segmentation Jianchun Li, Xing Yang, Wei Liu Electronic Engineering Institute, Hefei Email: yangxing.1983@163.com Received: Nov. 12th, 2012; revised: Dec. 2nd, 2012; accepted: Dec. 16th, 2012 Abstract: License plate recognition based on machine vision, one of the key technologies of intelligent transportation system, has been paid much attention to. Character segmentation plays an important role in license plate recognition and its aim is to divide the character string in license plate into single characters which are easier to be recognized. Gener- ally, character segmentation is composed of binarization and segmentation. After introducing research achievements of related methods for these two parts, we analyze the merits and drawbacks of each method and look into the develop- ment trends of character segmentation in this paper. Keywords: Intelligent Transportation System; License Plate Recognition; Character Segmentation 车牌字符分割的研究现状及展望 李建春，杨 星，刘 伟 电子工程学院，合肥 Email: yangxing.1983@163.com 收稿日期：2012 年11 月12 日；修回日期：2012 年12 月2日；录用日期：2012 年12 月16 日 摘 要：作为智能交通系统的核心技术之一，基于机器视觉的车牌识别一直受到广泛的关注。字符分割是车牌 识别的重要步骤，其目的是将车牌字符串分割为更易于识别的单个字符。字符分割一般可分为二值化和分割两 个部分。分别针对这两个部分，本文首先介绍了相关方法的研究成果，然后剖析了各自的优缺点，展望了下一 步的研究方向。 关键词：智能交通系统；车牌识别；字符分割 1. 引言 基于机器视觉的车牌识别是智能交通系统的核 心技术之一，可广泛应用于高速公路自助缴费、城市 交通监控、违章或犯罪监控以及智能停车场管理等方 面，它主要包括图像获取、车牌定位、倾斜校正、字 符分隔、字符识别五个部分。倾斜校正输出的车牌图 像表现为水平排列的若干字符，同时由于定位准确性 不高、存在车牌边框或污染等情况，还很可能包括一 些噪声区域。显然，直接对车牌字符串进行识别需要 克服很大困难。为了确保识别率，通常需要将字符串 分割成易于识别的单个字符，大幅削弱噪声对识别过 程的影响。字符分割一般可分为二值化和分割两个部 分。分别针对这两个部分，本文首先介绍了相关方法 的研究成果，然后剖析了各自的优缺点，展望了下一 步的研究方向。 2. 二值化 较灰度图像而言，二值图像将目标和背景划分为 独立的两个部分，在特征提取和模式识别领域具有显 著的优势，因此，一般在分割和识别前需要对车牌图 Copyright © 2013 Hanspub 49  车牌字符分割的研究现状及展望 像进行二值化。二值化的方法一般分为三种：全局阈 值法[1-5]、局部阈值法[6-10]和自适应阈值法[11-15]。 2.1. 全局阈值法 全局阈值法根据图像的直方图或灰度的空间分 布确定一个阈值，并利用此阈值实现灰度图像的二值 化。在字符分割中最常用的全局阈值法是 Otsu 法，即 最大类间方差法[1,2]。它是日本学者 Otsu(大津展之)于 1979 年在最小二乘法原理的基础上推导出来的[3]，可 将一副图像分割成两类区域，使得每类区域类内方差 最小，而类间方差最大。考虑到摄像机的曝光不足和 曝光过度对全局阈值法的影响，F. Y ang等[4]根据字符 和车牌底像素的空间分布特点定义全局阈值，然后引 入一种光照因子函数，有针对性地改善这两种情况下 的二值化效果。此外，A. Broumandnia 等[5]还对基于 熵值和累积分布函数的全局阈值化方法进行了研究。 2.2. 局部阈值法 局部阈值法有两种具体的形式，其一是将图像划 分为若干子区域，每个子区域依据各自的全局特征计 算阈值；其二是每个像素依据其邻域特征计算各自的 阈值。文献[6]和[7]使用的动态二值化方法是典型的第 一种形式，它们在若干个子区域分别使用 Otsu 法得到 相应的阈值。另一方面，文献[8]和[9]中的方法是第二 种形式的典型代表。D. Llorens等[8]利用以目标像素为 中心的扫描窗口的平均灰度值减去一个固定参数来 计算相应的阈值。C. Coetzee等[9]给出了一个阈值计算 公式： ,,Tijmij kij ,，其中 是像素T ,ij 的阈值，是权重因子， 和 分别 是像素的 15 × 15邻域的均值和标准差。为了提 高对光照不均和车牌污染等情况的鲁棒性，J. M. Guo 等[10]综合使用全局和局部阈值法，充分抓住二者的特 点进行取长补短。他们分别采用基于灰度均值的全局 取值法和局部阈值法(10 × 10)，结果如图1(e)-(f)所示。 全局阈值法输出的字符完整，但引入了大量噪声，容 易产生粘连；局部阈值法输出的字符容易产生缺损， 但抗噪能力较强，不易产生粘连。因此，利用局部阈 值法协助前者进行滤噪，选用一定尺寸的直线在局部 阈值法效果图中进行行、列扫描，若扫描位置无白色 像素则将全局阈值法效果图中对应的像素置零。结果 如图 1(g)所示，二值化效果得到改善，尤其是严重污 染的车牌(图1(c))。 0.2k ,ij ,mij ,ij 2.3. 自适应阈值法 自适应阈值法实际上是在全局或局部阈值法的 基础上，通过改变阈值重复地进行二值化操作，直到 满足一定的条件，此时的阈值即为所求的最佳阈值， 该条件称为自适应条件。赵建蕾等[11]利用阈值 将图 像分为目标和背景两部分；然后，分别得到这两部分 的平均灰度，并将这两个平均灰度再取均值作为新的 阈值 k T 1k T 。重复上述过程，直到 1kk TTQT ， 就 是所求的最佳阈值，其中 为允许的误差。一些学者 将二值化与分割过程统一起来，以得到合理的字符分 割结果作为自适应条件，实现自适应阈值法。Vladimir Shapiro 等[12]采用逐步递减的方式解决粘连字符的分 割，如图 2所示。首先，利用经验阈值尽可能地分割 出所有字符(此时可能存在粘连)；按一定的步进降低 阈值对潜在的粘连部分进行再处理。重复上述过程， 直到分割出合理的字符串。C. N. E. Anagnostopoulos 等[13,14]采用两个同心窗口对车牌图像进行扫描，将两 窗口中像素的均方差之比与一经验阈值比较实现窗 口中心像素的二值化；然后，结合连通区域分析进行 k Q Figure 1. The binarization method in reference [10] 图1. 文献[10]的二值化方法 T =90 T =87 T =90 T = 90 T = 90 T = 87 T =87 T = 90 T =90 T =81 Figure 2. The binarization method in reference [12] 图2. 文献[12]的二值化方法 Copyright © 2013 Hanspub 50  车牌字符分割的研究现状及展望 字符分割，若不能得到合理的字符串则改变阈值重复 上述过程。类似地，S. L. Chang等[15]也综合使用了自 适应阈值法和连通区域分割。 3. 分割 经过二值化过程后，接下来需要将车牌分割为独 立的字符块，作为识别算法的输入。分割方法一般可 以分为投影法[1,12,16]、连通区域分析法[17-22]和先验知识 法[23-25]三种。 3.1. 投影法 投影法是最简单、最常用的分割方法。对二值图 像行列累加可以得到水平和垂直方向的投影，投影的 波谷为分割提供了有力依据。然而，由于噪声、光照 变化、污染等不利情况，投影特征会遭到不同程度的 破坏，分割结果很可能存在字符断裂或粘连。为此， 一些学者提出了相应的改进措施。胡爱明等[12]提出一 种递归回扫的方式，反复验证投影分割字符满足车牌 布局和构造的先验知识，对断裂字符进行合并，对粘 连字符进行再分割。陈振学[1]提出粘连一般是由于二 值化过程中阈值选取不当造成的，因此采用了类似于 文献[12]中的方法，将投影分割与自适应阈值法结合 起来解决粘连字符的再分割问题。此外，陈洁等[16] 提出一种无需二值化的彩色车牌峰谷分割算法。该方 法通过对 HSI 空间的H分量和 RGB空间的 B分量适 当调整，得到一个峰谷值差异较大的投影图像，从而 为字符分割提供理想的位置。利用200 幅蓝色和黄色 车牌图像进了对比实验，结果表明：基于二值图像的 投影法的分割成功率仅为 89.5%，该彩色图像投影法 的分割成功率达到了 97.5%，特别是对于倾斜和模糊 车牌均达到了较好的效果。事实上，车牌图像中可能 存在颜色与车牌类似的噪声区域，然而作者并没有对 这种情况进行分析。 3.2. 联通区域分析法 连通区域分析法是另一种常用的分割方法，它通 过扫描车牌二值图像标记相互连通(8 邻域连通或 4邻 域连通)的像素，根据不同的标记实现字符的分割。连 通区域分析法通常离不开二值区域的尺寸，如高度、 长度、面积[17,18]以及方向[17,19]等。一些学者还利用向 量量化[20]和数学形态学[21,22]等工具提高连通区域的 分析效果。类似于投影法，在噪声、光照变化、污染 等情况的影响下连通区域分析法同样会遇到粘连字 符的再分割和断裂字符的合并问题。为此，判断连通 区域分割结果存在字符粘连或断裂时，F. Kahraman 等[20]采用投影法进行粘连字符的分割，利用 2154 幅 图像进行了测试，取得了 94.2%的分割成功率；此外， F. Yang等[18]利用先验知识实现粘连字符的分割和断 裂字符的合并。上述连通区域分析法均是采用 8邻域 连通分析，而D. Llorens 等[8]却使用了不常见的4邻 域连通分析。 3.3. 先验知识法 事实上，投影法和连通区域分析法均利用了车牌 的某些先验知识，但是它们仅是在分割遇到困难时使 用或者是提供一种相对宽松的约束，对先验知识的依 赖性并不强。所谓先验知识法指的是很大程度上严格 依据先验知识进行分割的方法，准确获取分割基准点 是这种方法的关键。X. N. Wang等[23,24]根据车牌的长 宽比、字符的长宽比以及相邻字符的间隔等先验知识 定位我国车牌第二和第三个字符间的间隔符，从而在 投影图像中将其直接滤除。然后，利用先验知识导出 相邻分割字符的中心距离，据此实现粘连字符的分割 和断裂字符的合并。然而，该方法并没有明确指出使 用先验知识所必需的基准点。吴成东等[2]在投影图中 首先确定优割字符，即满足严格长宽比的连通区域， 作为分割的基准点。然后，分别使用这些优割字符建 立标准的车牌模板进行试探性分割，并评估相应的置 信度。最后，将置信度最大的分割结果作为最终的输 出。利用 100 幅理想的和 100 幅模糊的车牌图像进行 测试，分割成功率分别为 100%和94%，平均执行时 间分别为 62和75 ms(P4 2.0 GHz，256 M RAM， VC++6.0)。为了提高分割过程的抗噪能力，顾弘等[25] 利用字符的排列方式将分割过程转化为马尔可夫链 的前向识别过程，据此获得最优观察序列作为基准点 完成余下的分割过程。这种最优观察序列的含义和作 用与文献[2]中最高置信度对应的优割字符类似。利用 2011幅单层车牌图像和 273幅双层车牌图像进行了对 比实验，结果表明：其分割成功率明显高于投影法和 连通区域分析法，分别达到 94.4%和82.9%。但是， Copyright © 2013 Hanspub 51  车牌字符分割的研究现状及展望 处理双层车牌时，马尔可夫链的参数需要进行调整。 4. 结论与展望 二值化方法中，全局阈值法实时性好，对噪声、 光照变化、污染等情况比较敏感，应用受到较大的限 制。局部阈值法采用邻域或分块处理，对上述情况的 鲁棒性明显增强；但是，这种处理方式必然增加计算 量，导致实时性下降。自适应阈值法针对分割效果设 置自适应条件，目的明确、鲁棒性强，容易的得到更 广泛的应用。其实时性依赖于自适应条件，阈值选取 方式越复杂，图像质量越低，其迭代次数越多，执行 时间也就越长。而且，自适应阈值法在某些情况下可 能会陷入死循环或是拒绝处理。总之，现有二值化方 法尚不能很好地兼顾实时性和鲁棒性。 在分割过程中，投影法和连通区域分析法易受噪 声、光照变化、污染等不利因素的影响，对倾斜校正、 二值化以及滤噪的要求较高，离实际应用尚有一段距 离。先验知识法具有较强的抗噪能力，容易解决光照 变化和噪声干扰引起的字符粘连、断裂等问题。但是， 其分割效果几乎完全取决于基准点的准确选择，一旦 基准点选择不当或准确性下降，将直接导致分割失 败，因此，对于基准点的置信度评估显得尤为重要。 此外，这些方法对双层车牌字符分割的研究非常少， 且分割成功率大幅低于处理单层车牌的情况。据文献 [25]报导，相同的连通区域分析法对单层车牌的分割 成功率达到 94.1%。而对于双层车牌来说成功率仅为 55.3%；相同的先验知识法处理两种车牌的成功率也 有大于 10%的差距。 通过以上分析，下一步的研究方向主要集中在两 点： 1) 研究兼顾实时性和鲁棒性的二值化方法，削弱 乃至消除二值化对分割过程的影响； 2) 在分割方面，研究对噪声、光照变化、污染等 不利因素具有较强鲁棒性的投影法和连通区域分析 法，或是研究基准点具有高准确性的先验知识法；而 且，需要兼顾单层车牌和双层车牌的分割。 参考文献 (References) [1] 陈振学. 基于特征显著性的目标识别方法及其应用研究[D]. 华中科技大学, 2007. [2] 吴成东, 樊玉泉, 张云洲等. 基于差分投影与优割字符的车 牌字符分割[J]. 东北大学学报(自然科学版), 2008, 29(7): 920-923. [3] N. Otsu. A threshold selection method from grey-level histogram. IEEE Transactions on System, Man and Cybernetics, 1979, 9(1): 62-63. [4] F. Yang, Z. Ma and M. Xie. A novel binarization approach for license plate. Proceedings of IEEE Conference on Industrial Elec- tr o n ics a n d Appl i c at ion s , S i ng a p o r e, 2 4 - 2 6 Ma y 2006: 1-4. [5] A. Broumandnia, M. Fathy. Application of pattern recognition for Farsi license plate recognition. ICGST International Journal on Graphics, Vision and Image Processing, 2005, 5(2): 25-31. [6] T. Naito, T. Tsukada, K. Yamada, et al. Robust license-plate recognition method for passing vehicles under outside environ- ment. IEEE Transactions on Vehicular Technology, 2000, 49(6): 2309-2319. [7] P. Wang, W. Zhang. Research and realization of improved pat- tern matching in license plate recognition. Proceedings of Inter- national Symposium on IITA Workshops, Shanghai, 21-22 De- cember 2008: 1089-1092. [8] D. Llorens, A. Marzal, V. Palazon, et al. Car license plates ex- traction and recognition based on connected components analy- sis and HMM decoding. Pattern Recognition and Image Analysis, 2005, 35(22): 571-578. [9] C. Coetzee, C. Botha and D. Weber. PC based number plate recognition system. Proceedings of IEEE International Sympo- sium on Industry Electronics, Pretoria, 7-10 July 1998: 605-610. [10] J. M. Guo, Y. F. Liu. License plate localization and character segmentation with feedback self-learning and hybrid binariza- tion techniques. IEEE Transactions on Vehicular Technology, 2008, 57(3): 1417-1424. [11] 赵建蕾, 王汇源, 方颖. 偏暗或泛白背景的车牌图像二值化 方法[J]. 计算机工程, 2008, 34(6): 210-213. [12] V. Shapiro, G. Gluhchev and D. Dimov. Towards a multinational car license plate recognition system. Machine Vision and Appli- cations, 2006, 17(3): 173-183. [13] C. N. E. Anagnostopoulos, I. E. Anagnostopoulos, I. D. Psporoulas, et al. A license plate-recognition algorithm for intelligent trans- portation system applications. IEEE Transactions on Intelligent Transportation Systems, 2006, 7(3): 377-392. [14] C. Anagnostopoulos, T. Alexandropoulos, S. Boutas, et al. A template-guided approach to vehicle surveillance and access control. Proceedings of IEEE Conference on Advanced Video Signal Based Surveillance, 15-16 September 2005: 534-539. [15] S. L. Chang, L. S. Chen and Y. C. Chung. Automatic license plate recognition. IEEE Transactions on Intelligent Transporta- tion System, 2004, 5(1): 42-53. [16] 陈洁, 万忠, 张迎春. 无需二值化的彩色车牌峰谷分割算法 [J]. 计算机技术与发展, 2006, 16(5): 10-12. [17] H. Mahini, S. Kasaei, F. Do rri, et al. An efficient features-based license plate localization method. Proceedings of 18th IEEE In- ternational Conference on Pattern Recognition, Hong Kong, 2006, 2: 841-844. [18] F. Yang, Z. Ma and M. Xie. A novel approach for license plate character segmentation. Proceedings of IEEE Conference on Industrial Electronics and Applications, Singapore, 24-26 May 2006: 1-6. [19] S.-Z. Wang, H.-J. Lee. Detection and recognition of license plate characters with different appearances. Proceedings of IEEE In- tellig e nt Transport at io n Sy s tems, 12-15 October 2003: 979-984. [20] F. Kahraman, B. Kurt and M. Gökmen. License plate character segmentation based on the Gabor transform and vector quantiza- tion. Proceedings of ISCIS, 2003, 2869: 381-388. [21] M. H. ter Brugge, J. H. Stevens, J. A. G. Nijhuis, et al. License plate recognition using DTCNNs. Proceedings of IEEE Interna- tional Workshop on Cellular Neural Networks and Their Appli- cations, London, 14-17 April 1998: 212-217. [22] S. Nomura, K. Yamanaka, O. Katai, et al. A novel adaptive morphological approach for degraded character image segmen- Copyright © 2013 Hanspub 52  车牌字符分割的研究现状及展望 Copyright © 2013 Hanspub 53 tation. Pattern Recognition, 2005, 38(11): 1961-1975. [23] Q. Gao, X. N. Wang and G. F. Xie. License plate recognition based on prior knowledge. Proceedings of the IEEE Interna- tional Conference on Automation and Logistics, Jinan, 18-21 August 2007: 2964-2968. [24] X . D. Jia, X. N. Wang, W. Li, et al. A novel al gorit hm for charac ter segmentation of degraded license plate based on prior knowl- edge. Proceedings of the IEEE International Conference on Automation and Logistics, Jinan, 18-21 August 2007: 249-253. [25] 顾弘, 赵光宙, 齐冬莲等. 车牌识别中先验知识的嵌入及字 符分割方法[J]. 中国图象图形学报, 2010, 15(5): 749-756. |