ABSTRACT

Detection of Urban road traffic sign is an important part of the Modern Intelligent Transportation System (ITS). In order to extract the integral areas of traffic signs and reduce the computation load, this paper has improved the fast color-segment compression algorithm. And, it verifies the traffic sign candidate areas to decrease false positives and raise the accuracy by analyzing the variation in preceding video-images sequence while implementing the proposed Spatial Temporal Model (STM). Experimental results indicate that the accuracy, efficiency and the robustness of the framework are better than the method based on one frame, and it can be applied to detect urban road traffic signs in real time.

Keywords:Traffic Sign Detection, ITS, Spatial Temporal Model (STM)

基于多帧视频图像的交通标志实时检测

杨斐¹，秦勃¹，李伟²

¹中国海洋大学计算机科学与技术系，山东 青岛

²枣庄科技职业学院，山东 枣庄

收稿日期：2017年5月10日；录用日期：2017年5月28日；发布日期：2017年5月31日

摘 要

城市道路交通标志检测是现代智能交通的重要组成部分。本文通过改进基于颜色的图像快速分割算法，对交通标志检测信息进行分割压缩处理，以确保交通标志信息分割的完整性和时效性；并依据交通标志在多帧图像序列中的连续变化关系构建空间时序关系模型(Temporal Spatial Model, STM)，实现交通标志检测候选区域的筛选处理，以降低交通标志检测误检率、提高准确率。实验结果表明，本文提出的算法有效改进了基于单帧图像的交通标志检测方法存在的误检率高问题，满足复杂的城市道路环境下交通标志检测准确率、实效性和鲁棒性的要求。

关键词 :交通标志检测，智能交通，空间时序关系模型

Copyright © 2017 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

交通标志(Traffic Sign)是交通管控系统的重要组成部分，为驾驶员提供路况、交通管制、警告和提醒等信息。交通标志检测(Traffic Sign Detection, TSD)作为现代智能交通领域的重要研究课题，在无人驾驶技术、辅助驾驶技术、智能机器人等领域有关键作用。

基于图像处理的交通标志检测方法通常分基于颜色和基于形状两种。基于颜色的交通标志检测通常将图像转换到HSV、NRGB和YUV等颜色空间，然后根据经验设置颜色阈值分割交通标志区域。文献 [1] 通过对同一交通标志数据集，定量分析各种颜色分割的方法的性能，目的是对特定的交通标志检测任务采用最佳的颜色分割方法。文献 [2] 采用不同的阈值对灰度图分割，通过搜索连通区域将最大稳定极值区域(Maximally Stable Extremal Regions, MSERs)作为交通标志候选区域。文献 [3] 利用高斯颜色模型提取颜色不变性特征(Color Invariants Feature)分割定位交通标志区域。文献 [4] 结合交通标志颜色和形状特征，定位检测圆形交通标志。基于颜色的交通标志检测效率高，但易受杂乱的背景以及光照条件影响。

基于形状的交通标志检测方法受光照条件影响较小，同时对交通标志出现遮挡、连体等情况也具有较好的检测效果。文献 [5] 利用快速辐射对称性检测三角形的内心，在内心窗口图像利用Hough变换检测三角形交通标志。文献 [6] 利用一种高效、通用性强的径向对称检测器(Radial Symmetry Detector)，实现对圆形、多边形、三角形等形状交通标志的检测。文献 [7] 利用直方图梯度特征(Histogram of Oriented Gradient, HOG)，使用支持向量机SVM (Supported Vector Machine)分类器检测交通标志。文献 [8] 使用矩形度、圆形度和伸长度的综合范围判定区域形状。文献 [9] 提出了一种颜色特征、形状特征和尺度特征的多特征协同方法，能够提高通常情形、颜色失真、形状失真、以及尺度变化情况下的交通标注检测率。基于形状的交通标志检测方法计算量较大，无法满足实时性处理要求。

上述文献均以单帧图像为重点研究对象，处理视频图像序列时存在一定的局限性。文献 [10] [11] [12] 研究对象是城市道路环境下录制的视频图像，取得了良好的效果。文献 [10] 通过分析交通标志在视频图像序列中的空间约束关系，定位垂直于地面的交通标志，结合连续图像序列追踪交通标志区域，对文字型交通标志检测有较好的结果，但并不适用于图像型交通标志，且无法满足实时性。文献 [11] 利用等角多边形探测器检测圆、三角形和正方形，并提出一种像素关系模型(Pixel Relevance Model)验证候选区域轮廓定位交通标志。文献 [12] 通过视频图像颜色分割后采用拟合圆形、四边形和三角形的感兴趣区域排除噪声，利用对极几何关系和相似度对区域作3D重建以验证交通标志区域，该方法对遮挡、变形具有较好的效果。由于未综合考虑多帧视频图像序列的时空连续变化关系，文献 [10] [11] [12] 依然无法保障检测的准确性和时效性需求。文献 [13] 基于移动激光测量技术，利用交通标志在云中的反射强度为特征进行提取，虽取得较好的结果，但不具有普及性。

基于移动视频系统的交通标志检测，目前已成为智能交通领域的新课题。由于汽车行驶过程中存在频繁震动现象，视频图像会出现运动虚影、光学变形等不利于交通标志检测的因素，对基于移动视频系统的交通标志检测带来较大困难。文献 [14] 基于Android平台结合形状和颜色信息对交通标志作检测与识别，比较适合移动平台。上述文献虽然对交通标志作深入研究，但尚未能解决在移动系统中高效准确检测交通标志的问题。因此，本文提出了一种基于移动视频系统的实时交通标志检测算法，从城市道路复杂环境中提取交通标志，准确率高、稳定性强、可满足实时性处理要求。

本文算法包含两部分：

1) 基于颜色的图像快速分割压缩算法

2) 多帧视频图像空间时序关系模型(STM)

基于颜色的图像快速分割压缩算法采用“分块”策略，对视频图像子区域统计分析，实现视频图像分割和压缩，提高计算效率，同时依据“分块策略”的片连通关系确保交通标志信息分割的完整性；依据交通标志在多帧图像序列中的连续变化关系构建空间时序关系模型，实现交通标志候选区域的筛选，提高准确率、降低误检率。

2. 基于空间时序关系模型的交通标志检测

本文提出了一种基于多帧视频图像空间时序关系模型的城市道路交通标志检测算法，图1为本文算法框架。

第一步：设置图像序列的ROI (Region of Interest)。根据中国交通法律法规，交通标志一般出现在图像右上部分；

第二步：基于颜色的快速分割压缩算法，快速分割红、黄、蓝等区域；

第三步：依据“分块策略”的片连通关系保证交通标志分割的完整性；

第四步：应用多帧视频图像空间时序关系模型定位交通标志区域，分为两个部分：

1) 利用分割图像区域的面积、长宽比等几何信息粗略排除噪声区域；

图1. 交通标志检测算法框架

2) 利用交通标志区域在多帧视频图像序列中的连续变化关系，对交通标志候选区域作进一步筛选与验证。

第五步：定位交通标志区域。

第六步：输出交通标志检测结果。

本文提出的交通标志检测算法不仅依据交通标志的颜色信息和基本几何信息(面积、长宽比等)定位交通标志区域，还根据多帧视频图像空间时序关系模型对候选区域作进一步筛选和验证，结合多帧视频图像序列之间交通标志的连续位置变化关系，以减少误检率，提高准确率。

3. 基于颜色的图像快速分割压缩算法

3.1. 算法思想

颜色是交通标志的重要信息之一。从复杂的城市道路环境中根据交通标志特有的颜色，如红色、黄色、蓝色、绿色等，将交通标志准确提取与定位，是基于颜色的图像分割算法的主要目的。交通标志分割结果的好坏直接影响后续交通标志检测与识别的准确率。

本文在文献 [15] 提出的颜色分割算法思想上，进一步优化分割参数，并依据 “分块策略”的片连通关系完善算法处理流程，以确保交通标志分割区域的信息完整性，使其应用到更为复杂的城市道路环境中，保证算法的稳定性、高准确率，且满足实时性处理要求。图2为改进后的基于颜色的快速图像分割压缩算法流程图。

3.2. 算法描述

颜色分割压缩算法流程具体如下：

1) RGB图像转化成HSV颜色空间。

2) 对于所有的像素点，其各分量若满足某种颜色各分量的取值范围，则把该图像对应的像素点置为白色。

3) 如图3，图像被划分为大小为的子图像块 ， 通常取8或者16。设输出图像灰度图，

图2. 基于颜色的快速图像分割压缩算法流程图

每个像素点初始化值为0，且像素点与图3子图像划分模型中像素块一一对应。

4) 对每个子图像块

a) 统计白色像素点个数

b) 设置筛选比例，当图像块中彩色像素点所占比例，则标记图像块为白色，即像素点。

5) 连续化处理，完整分割交通标志区域。

6) 输出颜色分割图像。

4. 多帧视频图像空间时序关系模型

4.1. 目的

目前，基于计算机视觉的目交通标志方法多为基于单帧图像实现。这种方法仅依据交通标志的颜色、几何等特征信息孤立地处理视频图像中的交通标志，割裂了交通标志在多帧视频图像序列中的时空间位置关联性，易与非检测目标(如草丛、建筑物、广告牌、车尾灯等)混淆，影响交通标志检测的准确性。因此，本文提出了一种多帧视频图像空间时序关系模型，依据交通标志在多帧视频序列图像中的空间位置的连续变化关系，对交通标志候选区域作进一步筛选与验证，排除非交通标志的背景噪声区域，以减低交通标志检测的误检率、提高准确率。

4.2. 模型描述

本模型根据多帧视频图像序列的空间位置连续变化关系判定连通区域是否为候选交通标志区域，并假设摄像头的光轴大致与地面平行，且摄像头是沿着光轴方向运动的。图4为车辆运行场景的侧景，图5表示了交通标志所在的平面、摄像头图像平面以及摄像头之间在连续两帧图像中的空间约束关系。

如图5所示，在时刻坐标OXY表示摄像头所在平面的坐标系，图像Image在其平行的坐标系中，表示摄像头焦距，表示时刻交通标志在图像Image上的尺寸大小。在时刻，表示车辆沿着摄像头光轴方向(Z轴)行驶距离后，重新设置的坐标系，代表时刻交通标志在图像Image上的尺寸大小。表示交通标志的大小。

由根据三角形相似，可得出公式(1)：

(1)

图3. 子图像划分模型

图4. 车辆运行侧景

图5. 连续多帧图像间的空间位置关系

由于远小于，则公式(1)可约等于公式(2)：

(2)

那么，

(3)

由公式(3)得，逐渐减小，逐渐增大。即随着摄像机与交通标志的缩短，交通标志在屏幕图像中的尺寸越来越大。

在时间段中，存在幅连续图像。假设在时刻交通标志在图像中的大小为 ，在时刻交通标志在图像中的大小为。则若在任意时刻时，交通标志在图像中的大小应满足公式(4)

(4)

此处，表示能检测到交通标志的最小面积，定义为最小检测尺度。

实际的应用中，可根据面积阈值过滤非交通标志区域噪声；且该时间段内，交通标志区域会随着时间的连续变化，在幅连续图像中的空间位置也连续变化，不会突然消失或者出现。

4.3. 多帧视频图像空间时序关系模型的应用

采用基于颜色快速图像分割压缩算法定位交通标志区域位置。但会产生大量噪声，影响检测准确率。虽然应用单帧图像分析交通标志的几何信息如纵横比，可过滤部分噪声，但依然存在无法排除的噪声。本文依据上文提到的面积阈值，设定连通区域面积满足公式(4)的区域，则认定该区域为候选交通标志区域。但与交通标志相似的一些噪声区域并不会排除在外，可进一步采用多帧视频图像空间时序关系模型筛选交通标志候选区域，提高准确率。

如图6所示，在中分别存在n帧的图像序列。红色、黄色、黑色方块分别代表在某一帧图像中检测到的交通标志候选区域。设阈值，若在n帧的图像序列中某区域被检测到M帧，则认定该区域为交通标志，同时将图像序列中未检测到的帧图像标记为对应的交通信号灯候选区域，如图7中的黑色和红色方块；反之，则标定为噪声，如图7中的黄色方块。该模型理论上可以提高交通标志检测的准确率、降低误检率。同时，多帧视频图像空间时序关系模型还可广泛应用于基于视频序列的目标检测中，比如车辆检测、红绿灯检测等。

图6. 连续多帧图像间的空间位置关系

图7. 多种条件下的检测结果

5. 实验结果与分析

实验数据是用行车记录仪在不同时间段、不同光照条件下拍摄的城市道路行驶视频，视频图像的分辨率为1920 × 1080，帧速率为30 fps。视频中包含早上、中午、下午等多个时间段，阴天、晴天、雨天、雾天等多种天气，禁令、警告、指示等多种交通标志的信息。本文主要在鲁棒性、准确率、效率等方面对算法作评估。

本文算法基于OPENCV编程实现，运行环境具体参数如表1所示。

5.1. 鲁棒性

鲁棒性测试，本文根据在图像分割压缩算法中划分块的大小的不同，对10小时以上长度的视频不间断运行测试。实验结果表明，设置不同的划分块大小2、4、6、8、16，程序运行过程中未出现内存泄露、访问受限、程序中止等现象，且检测结果依然准确。即本文提出的基于多帧视频图像空间时序关系模型的城市道路交通标志检测算法具有较强的鲁棒性，程序具有较高的稳定性。

5.2. 准确性

如图7所示，本文算法处理视频数据时，对复杂的道路背景、多变的光照条件以及各种不同的天气等均具有较好的检测效果。在不同时间段测试结果的准确率见表2。

本文算法应用多帧视频图像空间时序关系模型对交通标志作进一步噪声排除和验证，应用多帧视频图像空间时序关系模型前后效果对比如图8所示。图a)为根据交通标志颜色和几何信息定位结果，图b)表示应用多帧视频图像空间时序关系后模型的结果，对比可知过滤掉一些不是交通标志的噪声区域。随后，通过对3个小时视频的处理，应用STM前后测试结果如表3所示。

由测试结果可知，算法应用STM后交通标志检测准确率提高近10%，误检率减少近7%。

表4为本文算法与其他文献算法对比，本文不仅在准确率上优于文献 [2] 和文献 [9] ，且在处理分辨率更大的图像时，耗时比其他文献短很多。

表1. 运行环境具体参数

表2. 在不同时间段测试结果的准确率

图8. 应用STM前后效果对比

表3. 应用STM前后测试结果对比

表4. 本文算法与其他文献算法对比

5.3. 效率

实验视频的帧速率为30 fps，每幅图像分辨率大小为1920 × 1080，算法平均每幅图像检测处理的时间约为25 ms，即每秒可处理40帧，满足实时性处理要求。

6. 结束语

城市道路环境复杂、光照条件变化大，给交通标志检测造成了巨大的困难。本文通过改进基于颜色的图像快速分割压缩算法，在变化较大的光照条件下对交通标志进行分割处理，以确保交通标志信息的完整性；同时，依据多帧视频图像序列的时空特征构建多帧视频图像空间时序关系模型，解决在复杂的城市道路环境中准确定位和提取交通标志区域，提高准确率，减低误检率，且不影响效率。实验结果表明，基于多帧视频图像空间时序关系模型的城市道路交通标志检测算法具有较强的稳定性、鲁棒性；与其它方法对比，具有较好的计算效率，可广泛应用于城市道路环境下的交通标志检测。下一步工作将本文算法移植到移动端实现，同时实现交通标志的语义识别。

文章引用

杨 斐,秦 勃,李 伟. 基于多帧视频图像的交通标志实时检测
Real-Time Traffic Sign Detection Based on Multi-Frame Video Images[J]. 计算机科学与应用, 2017, 07(05): 463-472. http://dx.doi.org/10.12677/CSA.2017.75057

参考文献 (References)