 Open Journal of Transportation Technologies 交通技术, 2013, 2, 158-163 http://dx.doi.org/10.12677/ojtt.2013.22029 Published Online May 2013 (http://www.hanspub.org/journal/ojtt.html) Research on Detection of Red Light Violation Based on Computer Vision* Hangchen Yan, Baoqing Ma, Leilei Huang, Yiping Tang# Information Engineering College, Zhejiang University o f Technology, Hangzhou Email: 479841544@qq.com, #typ@zjut.edu.cn Received: Jan. 21st, 2013; revised: Feb. 28th, 2013; accepted: Mar. 9th, 2013 Copyright © 2013 Hangchen Yan et al. This is an open access article distributed under the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Abstract: To automatically and accurately detect red-light violation, this paper presents a method of detec- tion of red Light violation based on computer vision. Firstly, the image of traffic intersection is got by a mo- nocular high-definition camera in real time. In order to detect the valid area, the image is pre-processed with the customization of stop line, traffic light areas, lane areas, and the result of customization is saved. Then, the state of traffic signals is recognized with H in HSV color model and the vehicles are detected by MHI. Finally, according to traffic laws and regulations, vehicle red-light violation will be identified. Experiment results show that this method has lightly computational load, low-cost, high recognition rate and robustness features. Keywords: Computer Vision; Detection of Red Light Violation; State of Traffic Signals; State of Vehicle; Motion History Images Algorithm 基于计算机视觉的车辆闯红灯行为检测研究* 严杭晨，马宝庆，黄磊磊，汤一平# 浙江工业大学信息工程学院，杭州 Email: 479841544@qq.com, #typ@zjut.edu.cn 收稿日期：2013 年1月21 日；修回日期：2013 年2月28 日；录用日期：2013 年3月9日 摘 要：为了实现对车辆闯红灯行为的自动智能和准确检测。本文提出了一种基于计算机视觉的车辆 闯红灯行为检测方法。首先，采用高清摄像头实时采集道路上的车道、车辆和信号灯的视频图像；接 着，对视频进行图像信息预处理，定制虚拟检测线、交通灯检测区域、车道检测区域，将定制结果保 存在存储单元中；然后用计算机视觉技术来检测车辆闯红灯行为，通过 HSV 颜色空间中的 H分量来 识别信号灯的状态，利用 MHI 算法来识别车辆状态；最后，根据交通法规来识别车辆闯红灯行为。实 验结果表明，本文提出的检测算法方法简单、识别率高、实现成本低并具有较高的鲁棒性。 关键词：计算机视觉；闯红灯行为；信号灯状态；车辆状态；MHI 算法 1. 引言 随着现代交通的发展，特别是近年来汽车数量的 急剧增加，交通管理部门对交通安全与管理的投入逐 年增多。其中各交通路口作为交通管理的重要部分一 直都是交管部门关注的焦点。在对各路口的管理中， 车辆闯红灯的自动检测与取证已成为路口管理的重 *基金项目：国家自然科学基金项目(基金号：61070134)。 #通讯作者。 Copyright © 2013 Hanspub 158  基于计算机视觉的车辆闯红灯行为检测研究 要内容，研究如何在现有条件下低成本、高效率地对 闯红灯车辆进行识别和取证的系统变得越来越重要 [1-3]。 目前基于图像处理技术的闯红灯智能检测方法 主要有两种[4-6]：1) 摄像头—传感线圈的工作模式， 将线圈埋于地表下，通过震动传感、热传感等技术控 制摄像头拍摄违章画面。这种方式有如下几个显著的 缺点：系统的成本高。因为每当增加一个新的监视点， 就必须投入一次人力、物力和财力在交通路口埋设传 感线圈；待监控的路口不灵活。因为只能在已经埋好 线圈的路口进行监视；系统的维护不方便，因为感应 线圈如果损坏，需要重新埋藏、安放；影响交通的正 常运行，因为在埋藏感应线圈的时候，需要阻断路面 的交通。2) 完全的基于视频技术的检测方法。采用计 算机视觉技术分析车辆的状态，相比前一种方案，其 实现成本低、维护方便，当前已经在某些城市中投入 使用。但是上述两种技术还没有同时用计算机视觉技 术检测信号灯的状态和车辆的状态，还需要另外获取 信号灯状态信息的方法支持，导致系统复杂度增大， 同时也不便于实现移动执法。 信号灯的状态是判断车辆是否违章的依据。在监 视违章车辆时，信号灯的状态有时可以通过接入控制 线得到。但是，在有些地方交通灯的控制线不能轻易 地接入监视系统，人们也希望能够通过图像处理的方 法，得到信号灯的状态信息，这样可以提高系统的智 能性和灵活性，以及设备安装和维护的方便性。 本文提出了一种基于计算机视觉的车辆闯红灯 行为检测方法，通过高清摄像头实时采集道路上的车 道和信号灯状态图像；对视频图像按照实际道路上的 情况进行定制，用于减少计算机视觉处理的复杂度， 并赋予机器具备识别闯红灯检测的相关知识；通过视 觉检测信号灯的状态和车辆在停车线附近的状态，利 用MHI 算法对在停车线附近的车辆进行跟踪，实现 整个车辆闯红灯行为的检测。 2. 闯红灯行为检测装置的设计 本文提供一种检测精准、维护安装方便和违章取 证完整的基于计算机视觉的车辆闯红灯行为检测装 置。该装置主要实现以下一些功能：1) 虚拟停车线、 车道、与车道对应的信号灯的定制技术；2) 交通信号 灯的状态识别技术；3) 车辆的跟踪技术；4) 车辆压 线和超线判断技术；5) 图像的抓拍技术；6) 车牌的 识别技术；闯红灯行为判断技术。 2.1. 路况监控模块 路况监控模块采用一个高清摄像头拍摄在停车 线附近区域车辆运行状态和信号灯状态；在高清摄像 机成像面上包含了信号灯、停车线和车道状况的图像 信息。高清摄像机中采用3200 × 1200像素500万的 高清成像芯片，一个高清摄像机的摄像范围覆盖道路 上的所有车道，高清摄像机安装在停车线旁拍摄车流 量的支架上，调整高清摄像头的范围，使得在高清摄 像机成像的图像包含了整个路口交通状况信息，车辆 闯红灯行为视觉监控装置示意图如图 1所示。 图1所示的车辆闯红灯监控装置中还包括视频无 线远程传输技术，采用无线远程视频传输卡，将实时 拍摄的图像传输到处理器进行处理，关于无线传输原 理和实现等细节，由于篇幅的限制，这里不再赘述。 2.2. 图像处理模块 图像处理模块主要包括以下几个子模块：视频图 像读取模块，主要用于读取从视频监控传感器传过来 的视频图像信息；图像预处理模块，主要是定制车道 的停车线、定制交通信号灯检测区域、定制道路上的 车道区域，排除了冗余图像检测，提高了检测效率； 信号灯状态检测模块用于对视频图像中每个车道上 Figure 1. Monitoring device for vehicles running red lights behavior 图1. 车辆闯红灯行为视觉监控示意图 Copyright © 2013 Hanspub 159  基于计算机视觉的车辆闯红灯行为检测研究 对应的定制信号灯区域的图像色彩空间转换并检测 相应信号灯的状态；车辆状态检测模块用于对视频图 像中每个车道上运动车辆进行闯红灯检测；闯红灯违 章记录模块主要用于抓拍并保存闯红灯车辆的图像 的整个检测过程流程如图2所示。 3. 闯红灯行为检测流程实现 本文提出的基于计算机视觉的闯红灯检测方案， 其实现的关键模块是图像预处理模块，信号灯检测模 块和车辆状态检测模块。图像预处理模块需要对车道 检测区域的定制，停车线的定制，来确定检测的有效 区域。信号灯状态检测和运动车辆检测的准确性是闯 红灯行为检测的重要前提，两者需要选择合适的算法 进行检测。 3.1. 图像预处理 为了提高检测的效率，排除其他冗余的图像信 息，本文对停车线、交通灯检测区域、车道区域进行 定制，由于高清摄像头俯拍的原因，停车线会被车挡 住，虚拟停车线需要定实际停车线后面。交通信号灯 和车道的位置固定，直接定制实际路口情况大小一致 相吻合的区域。 结束 图像预处理模块 信号灯检测模块 车辆状态检测模块 闯红灯违章记录模块 开始 视频图像读取模块 Figure 2. Flowchart of detecting vehicles red-light running behavior 图2. 车辆闯红灯行为检测流程图 在定制停车线，交通灯检测区域，车道区域后， 需要建立车道对应信号灯之间的关联，使左行车道与 左行信号灯对应检测，直行车道与直行信号灯对应检 测，右行车道与右行信号灯对应检测。图 3为某一个 交通路口区域定制方法的说明图。 在图 3中定制了两个交通信号灯检测区域、两个 车道检测区域，停车线；直行车道与直行信号灯对应， 右行车道与右行信号灯对应。定制好这些信息后，将 这些信息保存在计算机的存储单元中，以便后面车辆 闯红灯行为识别时提供道路交通相关的知识。 3.2. 信号灯状态检测 由于交通信号灯的颜色特征很明显，而颜色信息 主要根据 HSV 色彩空间的色调 H分量区分[7]，所以 本文用颜色直方图对色调H进行统计，用于区分信号 灯的颜色。首先，对每个车道上的视频图像中的所述 的交通灯检测区域定制的信号灯区域的图像 RGB 色 彩空间转换到 HSV 色彩空间，为信号灯的状态识别 做好预处理。然后，通过颜色归一化处理，HSV 的3 个分量值均在 0~l 之间；一般情况下红黄绿 3种颜色 交通信号灯的色调 H的范围如下：红色交通信号灯区 域：[0,0.0667][0.9058,1]；黄色交通信号灯区域：[0.0705, 0.2353]；绿色交通信号灯区域：[0.2549,0.5882]；接 着，用颜色直方图统计色调 H在红黄绿 3种颜色范围 内的像素个数 ,, R YG number al ，交通灯检测区域中的像 素总的像素个数记为Tot ，用公式(1)计算两者的比 例， ,, {}{} iRYG ii NumRadioNumberTotal (1) 式中，为红黄绿 3种颜色中某一种颜色在交 通灯检测区域的像素个数，To 为交通灯检测区域 {}i Number tal 定制信号灯区域 定制车道区域 定制停车线 Figure 3. Customizing method for traffic intersection 图3. 交通路口区域定制方法说明图 Copyright © 2013 Hanspub 160  基于计算机视觉的车辆闯红灯行为检测研究 Copyright © 2013 Hanspub 161 为的像素总的像素个数，N红黄绿 3种颜色 中某一种颜色在交通灯检测区域的像素个数值与该 区域中的像素总的像素个数的比值。 {}i umRadio MHI算法不需要背景建模只进行帧间差分处理就可 以得到前景运动对象，因而该算法对于提取前景运动 对象具有很高的实时性，计算方法如公式(3)所示： 最后进行交通信号灯的状态判断，判断方法由公 式(2)给出， ,, ,, 1 max 0,,,11 Hxyt ifDxyt H xyt otherwise (3) {} {} {} Re ,0.8 ,0.8 ,0.8 R Y G d NumRadio Yellow NumRadio Color Green NumRadio NoTrafficlightsignalor lightflashes (2) 式中， ,,Dxyt运动区域的二进制图像序列， 为持 续时间， ,, 1ytHx 为上一个时刻的运动历史二进 制图像序列。 式中， {} R NumRadio {}Y io {}G io 为红色在交通灯检测区域的像素 个数值与该区域中的像素总的像素个数的比值， 为黄色在交通灯检测区域的像素个数值 与该区域中的像素总的像素个数的比值， 为绿色在交通灯检测区域的像素个数值 与该区域中的像素总的像素个数的比值。 NumRad NumRad 通过 MHI算法获得了车道上的前景运动对象后， 由于车道上可能存在着行人或者其他运动对象，因此 需要判断这些前景运动对象是否是车辆；在本发明中 用面积阈值、形状和运动方向来区分前景运动对象， 由于车辆的面积要比行人或者骑车人的面积大，同时 行人或者骑车人的运动方向是垂直于车道方向的，且 形状有较大差别，判断计算方法用公式(4)表示，式中， ,, H xyt 为前景对象的二值化图像的像素总数， 为面积阈值， 为前景对象的形状属性，通过 对二值化图像查找边界然后计算相邻边界线的夹角， 和为判断前景对象的形状范围阈值， 为前景对象的运动方向，用于排除垂直于车道方向的 运动对象，由计算MHI 算法时得到，返回 0˚~360˚之 间的角度值(水平向右为基准线，逆时针夹角)，其 和 为夹角阈值。 1 T 2 T3 T 5 T Shape Direction 4 T 3.3. 车辆状态检测 在车辆闯红灯行为的检测中，首要的目标就是要 检测出红灯时目标区域内的运动物体，并区分运动车 辆和非运动车辆，从而为后续的车辆跟踪、车牌定位 与识别打下良好的基础，本文通过检测车辆是否压住 以及越过停车线来反映机动车驾驶员闯红灯行为过 程，检测过程如图 4所示。图 4中通过抓拍车辆压线 和车辆完全越线两幅图像来记录车辆闯红灯行为，如 果车辆不满足图中的两个中任何一个判断条件，不做 任何记录操作，不作为车辆闯红灯行为。 4. 实验研究 本文采用的硬件平台为奔腾双核2.7G CPU、4GB 内存、NVIDIA GeForce 210显卡；软件平台是 Microsoft Visual C++ 6.0。实验视频监控环境为温州锦 江路车站大道某一个路口，路口监控视频图像分别选 取了拍摄时间为凌晨、上午、下午和晚间等四个时间 段。视频图像大小 3200 × 1200像素。 运动车辆的检测与跟踪采用运动历史图像算法 [8-10]。MHI 中得到的运动历史图像是一段时间间隔中 的相邻图像帧进行帧间差分和灰度化处理之后得到 的，这种得到运 动历史图像的算法对于始终处于运动状态的目 标可以很好地得到运动轮廓模板并且计算量比较小， MHI 算法能用于创建一个运动梯度图像并通过 SOBEL 算子计算得到运动梯度的方向和大小，同时利 用该结果可进一步用于估算对象的运动方向，由于 视频图像采集速度 10帧/s，信号灯每次红灯 45 s， 绿灯 20 s；对于定制信号灯区域信号灯判断，本文通 过颜色直方图统计色调H分量，确定 H分量判断阈 13 245 ,,,carHxy tTTShapeTTDirectionT object ot h erw i se (4)  基于计算机视觉的车辆闯红灯行为检测研究 (3) 运动车辆检测 车辆是否压线？ 抓拍车辆压线图像 利用 MHI算法对车辆进行跟踪 车辆是否完全越线？ 抓拍车辆越线图像 Yes Yes No No Figure 4. Flowchart of detecting vehicle states 图4. 车辆状态检测流程图 值如下：红色交通信号灯区域：[0,0 .25]和[0.9,1] ；绿 色交通信号灯区域：[0.45,0.83](视频中没有黄灯)；实 验中分别对红灯和绿灯 150 帧图像进行识别实验研 究，信号灯的识别结果如表1所示。实验结果表明， 用视觉方式来识别信号灯的状态能达到很高的识别 精度，在晚间和白天的照明和日光的变化情况下，本 文提出的信号灯识别算法具有很好的鲁棒性和准确 性，识别时间在 ms 级，完全可以满足实用的要求。 基于信号灯状态识别的结果，接着对车辆闯红灯行 为进行检测。当检测到信号灯状态为红灯时，如果检 测有车辆正在进入停止虚拟线并继续行驶就判定为 闯 红灯行为；如果为绿灯状态时，对该车道上的车辆不 进行检测。实验中通过抓拍两个位置的图像来记录车 辆闯红灯行为，第一个位置为闯红灯车辆压在停止线 的情况，第二个位置为闯红灯车辆为整个车身已经越过 停止线的情况，闯红灯行为检测的实验结果图 5所示。 图5(a)为闯红灯车辆的车头压虚拟停车线时的车 辆抓拍的局部图像，图 5(b)是通过 MHI 算法检测出闯 红灯车辆的前景对象图。图 5(c)为闯红灯车辆的整个 车身越过停止线时的车辆抓拍的局部图像，图 5(d)是 Table 1. Results of signal light recognition 表1. 信号灯识别结果 信号灯状态 正确帧数 错误帧数 正确率 红灯 150 0 100% 绿灯 150 0 100% (a) (b) (c) (d) (e) (f) Figure 5. Experiments of detecting vehicles red-light running behavior 图5. 车辆闯红灯行为检测实验 通过 MHI 算法检测出闯红灯车辆的前景对象图。图 5(e)和(f)分别为车辆遇到红灯时停下情况的车辆抓拍 Copyright © 2013 Hanspub 162  基于计算机视觉的车辆闯红灯行为检测研究 的局部图像和二值前景对象图，从图中 5(f)中可以看 出MHI 算法对静止的车辆不敏感。因此，MHI 算法 在车辆闯红灯检测中对运动的车辆具有很高的检测 能力，同时可有效排除静止前景对象的检测。本文的 信号灯状态的识别与车辆是否超越停止线的识别是 同时在两个不同线程中进行检测的，因此具有良好的 实时性。 通过 MHI算法获得了车道上的前景运动对象后， 由于车道上可能存在着行人或者其他运动对象，因此 需要判断这些前景运动对象是否是车辆。为了避免走 过斑马线的行人或者其他移动物对检测结果的干扰， 通过前景对象的大小、形状和运动方向特征，来识别 闯红灯的车辆。实验结果图6所示。 图6(a)为当车道红灯状态时行人和自行车过人通 过斑马线时的局部图像，图6(b)是对图 6(a)对应图像 用MHI 算法检测的二值前景图。图 6(c)和(d)为相隔 5 帧后的实验局部图像和二值前景图。从图 6中可以清 晰地分辨出在斑马线上行走的行人和自行车的行走 方向基本上与车道成垂直方向，且人体和自行车的前 景对象面积比车辆小，通过实验选择合适的方向阈值 和面积阈值就能有效排除车辆闯红灯行为检测的一 些干扰。 实验中，将公式(4)中的前景面积阈值 T1设置为 阈值 T4和T5分别为 80˚和110˚。实验结果表明，采用 5000，形状判断阈值 T2和T3分别为 75˚和115˚，方 向 (a) (b) (c) (d) 第10 帧 第15 帧 Figure 6. Detection the interference rule out experiments on the behavior of vehicles running red lights 图6. 对闯红灯行为的检测干扰排除实验 MHI 算法能快速和高效地检测出前景对象，同时采用 滤波算法能识别出闯红灯的运动车辆。 5. 总结 本文提出了一种基于计算机视觉的车辆闯红灯 行为检测方案，首先，通过高清摄像头实时采集道路 上的车道和信号灯的视频图像；通过定制视频图像中 车道、停车线和信号灯区域，有效提高了检测效率和 可靠性；通过HSV颜色空间中的 H分量来识别信号 灯的状态，利用 MHI 算法进行检测区域内车辆的状 态进行识别，最后根据交通法规识别和判断闯红灯行 为。本文提出的检测方案具有以下优点：1) 采用一个 高清摄像机同时能拍摄到信号灯和信号灯相关的车 道停车线附近的闯红灯车辆的相关图像，检测精准、 维护安装方便和违章取证完整；2) 自动识别和判断闯 红灯违章行为，检测算法简单，性能价格比高；3) 对 闯红灯行为的驾驶员有很大的威慑作用，降低了交警 的现场执法工作量，提高了交通执法效率。 6. 致谢 本文研究得到了国家基金(基金号：61070134，项 目名称：主动三维立体全景视觉传感技术研究)的资 助，同时也得到了研究所各位同仁的指导和帮助，在 此一并表示感谢。 参考文献 (References) [1] 杨明. 面向智能交通系统的图像处理[J]. 计算机工程与应用, 2001, 9: 4-7. [2] 夏劲, 郭红卫. 国内外城市智能交通系统的发展概况与趋势 及启示[J]. 科技进步与对策, 2003, 1: 176-179. [3] 周妮娜, 土敏, 黄心汉, 吕雪峰, 万国红. 车牌字符识别的预 处理算法[J]. 计算机工程与应用, 2003, 15: 220-232. [4] 张苗, 姚明海, 顾勤龙. 车辆牌照识别系统的一个新的实现 方法[J]. 控制工程, 2003, 10(1): 59-61. [5] 左奇, 史忠科. 一种基于数学形态学的实时车牌图像分割方 法[J]. 中国图像图形学报, 2003, 8(3): 281-285. [6] 张引. 基于空间分布最大类间方差的牌照图像二值化算法[J]. 浙江大学学报, 1997, 35(3): 272-276. [7] 傅一平, 李志能, 袁丁. 基于 HIS 空间的颜色算法提牌照识 别的性能[J]. 计算机工程与设计, 2004, 25(5): 703-707. [8] 孟繁锋, 屈桢深, 曾庆双等. isMHI结合 CAMSHIFT 的多目 标跟踪[J]. 计算机应用, 2009, 29(6): 1673-1676. [9] R. B. Gary, W. D. James. Motion segmentation and pose recog- nition with motion history gradients. Machine Vision and Appli- cation, 2002, 13(7): 174-184. [10] 刘军学, 屈桢 深, 任行行, 郭隽, 闻帆. 基于改进运动历史图 像的多运动目标实时跟踪[J]. 计算机应用, 2008, 28(s1): 198- 201. Copyright © 2013 Hanspub 163 |