 Computer Science and Application 计算机科学与应用, 2012, 2, 233-239 http://dx.doi.org/10.12677/csa.2012.25041 Published Online December 2012 (http://www.hanspub.org/journal/csa.html) Improved HMAX Model for Vehicle Type Recognition* Jiacong He, H. J. Cai#, Juan Deng#, Heng Lv, Qiaochu Liu International School of Software, Wuhan University, Wuhan Email: #hydra6@gmail.com, #1043665920@qq.com Received: Oct. 12th, 2012; revised: Nov. 1st, 2012; accepted: Nov. 14th, 2012 Abstract: The paper implements the improved HMAX model for vehicle type (make and model) recognition. The main improvement of this algorithm is using ITTI model with the characteristic of quick response to color, intensity or orien- tation discrimination, to select th e saliency area. By this way the template can be more representativ e and more benefi- cial to the detection rate. In addition, the calculating of the variance of response degree between different images and the same template eliminates redundant templates, which make contribution to reducing the time of classification. Analyz - ing and experiments claims that the improved HMAX model can be effective and reliable by the detection rate at 95%, with enough features extracted, 5% - 10% higher than current vehicle type recognition methods and 1% - 2% higher than original HMAX model. In addition, with the template screening method added, the improved HMAX model can keep the detection rate and curtail the classification time by quarter time. According to the optimal setting by the final value estimation, the detection rate is about 92%, and the classification time is 0.6 s/image, with promotio n to the past. Keywords: Vehicle Type Recognition; Visual Saliency; Feature Extraction; HMAX Model 基于改进的 HMAX 算法的车型识别应用* 何佳聪，蔡恒进#，邓 娟#，吕 恒，刘翘楚 武汉大学国际软件学院，武汉 Email: #hydra6@gmail.com, #1043665920@qq.com 收稿日期：2012 年10 月12 日；修回日期：2012 年11 月1日；录用日期：2012 年11 月14 日 摘 要：本文实现了将改进的 HMAX 算法应用于车型识别领域。算法的主要创新点是采用 ITTI 显著性算法选 取车辆图片显著点构造图库，通过采用对颜色、亮度和朝向三方面敏感度的综合，构造更具代表性的模板库， 提高了算法的识别率。此外，通过计算同一模板与不同图片响应度值的方差，消除了冗余模板，降低了算法识 别时间。分析和实验表明，改进的 HMAX 算法可以有效地实现车型识别，新提出的算法相对原先 HMAX 模型 在识别率可以提高1%~2%，相对当前存在的其他车型识别算法在识别率方面可提升约5%~10%，在保证特征数 量的前提下，识别率接近 95%；此外，加入模版筛选方法的改进算法相对于原先HMAX 模型在识别率基本保持 不变的条件下，识别时间可以缩减到原先的 1/4，最终根据效益值评估的最优组合中，识别率约为 92%，识别时 间为 0.6 s/幅图片，相对于原先方法均达到了一定的提升。 关键词：车型识别；视觉显著性；特征提取；HMAX 模型 1. 引言 视觉分类的任务是计算机视觉的基石。一个良好 的分类系统总能对同类或者不同类的物体做出回应。 随着城市交通的发展，视觉分类在智能交通方面逐渐 开始扮演重要的角色，因此市场对分类机制的性能要 求也就越来越高。目前主流的车辆分类技术有基于图 像和基于视频流两种，而基于视频的分类方法对设备 *资助信息：本项目由国家大学生创新性实验计划(项目编号 1210486077)资助。 #通讯作者。 Copyright © 2012 Hanspub 233  基于改进的 HMAX 算法的车型识别应用 有较高的要求，成本较高。所以本文主要探讨基于图 像的汽车分类方法。 基于图像的汽车分类方法中，一种常见的算法是 基于车牌识别的汽车身份识别[1]，但这种方法在恶劣 的天气环境下往往不能达到期望效果。另一种常见的 方法是汽车正面图像和车标识别[2]，但是在存在角度 偏移的情况下，或者因为位置远近产生的图像大小不 同，基于汽车正面图像的识别方法依旧存在弊端。我 们的方法是在对基于汽车正面图像的识别方法进行 改进，使分类器具备空间不变性和尺度不变性，实现 全方位的识别汽车。此外，传统的车型识别很少实现 对车型的准确分类，一般根据车的大小把车分为大中 小型车 3种。我们的方法能进行更精细的汽车品牌与 类型分类。 近年来，Ajmal, A.等人提出了基于边缘检测和二 值形态处理方法的车辆检测与分类算法，识别率可达 85%[3]，Xavier Clady等人提出了基于车型的多类汽车 分类算法，识别率为 89%[4]，Yi Lu等人提出了一种基 于汽车轮廓的车型识别算法，达到了92%的识别率[5]， Mohammad Mahdi Arzani 等人在使用小波-Contourlet 变换进行特征提取的研究中，单独使用小波变换和 Contourlet 变换分别具有 88%和82%的识别率[6]。这 些算法都对图库具有较高的要求，需要提供正面图 像，对有所偏移的车型图像识别精度不高，在实际应 用中有待改进。本文提出的方法充分利用 HMAX模 型的空间不变性和尺度不变性，对不同朝向，不同尺 度的车型图片进行特征提取和分类。 本文提出一种新的，基于 ITTI 算法、模版筛选方 法和 HMAX模型的车型识别方法，并通过实验验证 了其性能。测试图库中的车型图片具有不同的尺度、 朝向和颜色，传统的识别方式不易识别。为了解决这 些难题，我们提出的系统采用对颜色、亮度和朝向敏 感的 ITTI 算法[7]，可评估特征向量提升识别效率的模 板筛选方法[8]，和具有尺度空间不变性的 HMAX 模型 [9]，并对进行改进和整合。准备阶段，先对图像进行 边缘预处理，采用ITTI 算法对图像进行显著点提取。 在特征提取阶段，该系统采用 HMAX 模型进行特征 提取，进而达到建立模板库的目的。 2. 改进 HMAX 算法 2.1. HMAX模型 HMAX 模型是一种仿脑的通用对象识别模型[10]， 基本涵盖了腹侧视觉通路的分层结构，视觉显著性以 及不变性等特征[11]。求最大值的模式模拟了腹侧视觉 通从 V1 区域到 IT 区域的结构和工作原理，从而使得 提取的 HMAX特征具有旋转、平移等不变性，并且 保留了局部特征的几何特性，该模型应用到大型图形 数据库 Caltech-101 进行类检测任务时，具有 90%~ 99%的识别率，达到最佳非生物启发机制模型的分类 效果。 HMAX 模型内部结构分为 S1，C1，S2，C2四层。 其中 S1，S2 层通过模板匹配操作形成一个单元较多 的简单特征集合，而 C1，C2层通过选取最大值的操 作建立起一个复杂特征集合。进行实验时，HMAX模 型对训练车辆图像进行多方向多尺度滤波等操作，获 得滤波后的HMAX 模板库；再将训练图与HMAX 模 板库中模板对比获得特征数量，并构建特征向量，进 行分类。 在模板库构建阶段，HMAX模型对训练图集中的 每一个样本进行不同尺度的缩放和不同方向的 Gabor 滤波，得到响应图。对相应图不同方向不同尺度响应 图进行合并处理，得到不同方向的尺度不变响应图。 HMAX 模型通过随机点选取方法标记原图中车辆小 块的位置，并在尺度不变响应图中找到对应车辆图像 的位置。每种车型提取一定模板，从而构建成模板库。 在构建向量分类阶段，对于测试图集中每张图采 用与模板库构建阶段相同的 S1层操作，获得输出图 像。对于每张 S2 输出图，与所有模板库中模板计算 相似度。获得一个多维特征向量。C2 层对同一幅测试 图以不同方向进行 C1操作后向量的同一维取最大值， 从而实现了每一幅测试图对应一个特征向量。将其导 入SVM 分类器实现车辆型号分类。 虽然 HMAX模型可以有效提取具有尺度不变性 和空间不变性的特征向量，但是其模板的提取方法导 致了该模型存在两点不足：一方面，模板提取阶段采 取随机点提取方法，该方法在模板数较多时可以保留 大量有效特征，然而在模板数较少时，有可能导致有 用信息的遗漏；另一方面，模型识别依赖大量模板， 因而特征向量维数较大，识别时间相对略慢(图1)。 Copyright © 2012 Hanspub 234  基于改进的 HMAX 算法的车型识别应用 Figure 1. HMAX model 图1. HMAX模型 2.2. ITTI算法 由于车辆图片中区分车辆型号的有用信息大部 分集中在车头部分，如车标，车灯，进气口，因而本 实验选用基于视觉显著性的ITTI 算法作为 HMAX 模 型中提取模板显著点的方法(图2)。 步骤和相应参数设置 在改进的 HMAX 算法中实现显著点模板选取的 流程图如下： 1) 对输入车辆图片进行预处理，保留车头主要部 分的位置信息。 2) 分别针对车辆图片中的颜色，亮度，方向构成 三种显著图，并且根据权重的选择构成综合显著图。 实验发现车辆图片对于亮度信息较敏感，所以特别提 高其权值。 3) 迭代，每次选取综合显著图中的最显著点作为 输出，并抑制掉该点和该点周围的显著点。 4) 重复操作 3)，直到综合显著图中不再存在显著 点。并且输出3) 中所有显著点位置。 5) 提取 4)中显著点部分图像小块作为 HMAX 模 板库模板。 使用该算法提取模板效果如图3所示。 Figure 2. ITTI algorithm 图2. ITTI算法流程 2.3. 模板筛选方法 HMAX 模型通过检索特征小块在图像中的响应 值来对图像进行分类，但这种方法需要提取大量的特 征，导致程序运行速度缓慢并占用大量内存，对一些 用户来说是不可接受的。因此我们提出了一种依据对 训练样本的特征向量的评估筛选特征模板的方法，这 种方法可以删减整个模板库，剔除相对较差的模板， 以达到降低模板数量且不降低识别率的作用。 本实验所选取的模板筛选方法直接关联于线型 分类器(图4)。依据训练阶段分类器输出结果，直接从 分类器中筛除不理想模板，因此该方法在使用相同分 类器时可以有效的节约分类时间并且保留高识别率。 为了验证以上筛选方法的有效性，我们提出了五种其 他模板筛选算法，这五种算法分别按照以下五个公式 获得的评分进行模板筛选。 ,ET RTRT (1) 22 , , RT RT ET RT RT (2) 2 , , RT RT ET RT (3) , , RT RT ET RT RT (4) Copyright © 2012 Hanspub 235  基于改进的 HMAX 算法的车型识别应用 Copyright © 2012 Hanspub 236 Figure 3. Template extraction rendering using the ITTI-HMAX hybrid method 图3. 使用ITTI算法配合 HMAX 模型方法提取模板效果图。其中保存车辆明显特征的车灯，车牌，进气窗都被成功提取出来 Figure 4. Comparison of detection rates between SVM-based template screening methodology and methods based on the formula (1) - (5) 图4. 使用基于 SVM 表现的筛选模板方法与根据公式(1)~(5)所得五种筛选方法识别率对比图 , , RT RT ET RT (5) 其中 T 是从类别α中提取的模板； ,RT 是T 对α类中所有训练样本的响应值； RT 是T 对所有类别的所有训练样本的响应 值； 是标准差， 2 是方差； ET 是T 的评估结果，即效用值。 由以上测试数据可知，在相同实验环境下，在节 约相同测试时间时，虽然对于不同组的测试数据趋势 相同，但是本实验选用方法比根据公式(1)~(5)所选模 板筛选方法所得识别率高，平均每组数据高约 2%， 从而证明依据SVM 表现的筛选模板方法的有效性。 2.4. 算法流程 通过整合 HMAX 模型和改进算法步骤，本实验 提出了这一改进HMAX 算法的完整算法： 1) 从图库中 P读取一张图，设 N为预设的训 练图数量，当 i P iN 时，进入步骤 2；否则，进入步骤 4。 2) 对的一张图 i Pmn 个像素点 , 12 ,, j SSSmn S ，获得每个像素点的颜色响应值 , mn C 12 ,, j CCC，方向响应值 , mn H 12 ,, j HHH，亮度响应值 , mn O 0.5 12 ,, j OOO，由公式 0.25 0.25 j jj CH j O (6) 得到该像素点 分值。 3) 选 的显著性 显著点分值 最大的 4个像素点，分别以这 4个像素点为中，取其周围 12 × 12，24 × 24，36 × 36，48 × 48模板，每张图中可以提取4 × 4 个模板。 4) 当 心 区域作为 iN 时，重复步骤1；当 ，可获得 4 × 4 × N个模 iN 板 12 44 ,,, kN E E EE ，根据公式 2 exp i V 4 × N 2 ki EP (7) 得到 N个4 × 维向量  基于改进的 HMAX 算法的车型识别应用 11,11,1,4 4 ,1,,4 4 ,1,,4 4 ,, ,,,, ,, ,,,, ,, ,,, kN iiiki N NNNkN N VV VV VV VV VV VV 其中 是每张图 与每个模间的距离。 5) 对N个4 × 4 × N维向量中相同维度(k相同) 的距离求方差 ，方 标 板，其他模板淘汰。 6) 将剩下的 N个4 × 4 × N × 1/4维向量与其结果 导入分类器进行训练。返回步骤1)。 7) 当时，进入测试阶段，将图片 输入训 练好的分类器，输出图片类别。 3. 实验 本实验在 Matlab2011b 实验环境下进行，采用自 建的包括 31 种车型超过 1000 张图像的图库。本实验 改进并集成了ITTI 算法和 HMAX 模型，功能齐全， 实现了较高性能的车型识别。本实验完全在 64 位 M 4GB内存，支持 CUDA 采用自建的图库进行了本次试验。 3.1. 相关参数设置 文在原型 HMAX模型的基础上对第四章所述 的算法优 到了不同条件下 的性能数据，该性能包 本次实 ， 大小为 400 × 400，scale共分 9层，Gabor 滤波 器分为 4˚)，模板提取窗口 大小为 12 ×、 。以上配 置均 模板筛选组(之后简称筛选组)：在原型的基础上 添加 与模 所有的实验组分别取 512、1024、2048、4096、 8192(带有模板筛选的组为 2048、8192)个特征模板进 行独立实验，筛选组和完整组的筛取率(即保留模板数 量占原数量的比率)为1/4。 3.2. 实验图库描述 下的车型识别情况，本次实验图库取材自搜狐汽车频 道、太平洋汽车网、易车网和众多汽车品牌官网，包 括15 个品牌的 31 种汽车型号，共计 1420 幅图片， 每种车型中的图片均超过 30 幅。考虑到现实操作中 可能发生的问题，该图库保留了车辆多尺度，多角度， 多颜色的特征，如：选取了车辆侧面的角度，同一种 车型选取 2~3 种不同颜色车辆照片等，增加了图库的 仿真性，从而提升了实验结果的可移植性。 本试验中，每种型号汽车随机抽取30 幅图像作 为训练图库，其余图像作为测试图库。 3.3. 实验结果 间对比，实验得 征数 . 识别率(/%)对比 显 选组和完整组 共四组操作进行不 别率对比。由于显 I算法提取最有效 Table1. C detection rates 对比 特征数量 512 1024 2048 4096 81 i Vi P板k E ,ik 特征的相关度越小。保留方差最大的 1/4部分模 度改变情况 V2 S差越小，说明该模板与分类 为了检验本方法应对朝向改变和尺 目 iNi P atlab2011B 实验环境下进行，配置Intel i3处理器， 表1和表 2分别为原型组、显著点组、筛选组和 运算的GeForce 550显卡。我 完整组 4个实验组的识别率和测试时 们 本 化进行了独立实验，分别得 括识别率、测试时间两个方面。 验中HMAX 模型均使用统一配置：input 层细胞 4个方向(0˚，5˚，90˚，135 1224 × 24、36 × 36、48 × 48 为依据实验机性能以及多次实测结果得到的。 本实验共分为4组，分别是： HMAX 原型组(之后简称为原型组)：仅保留 HMAX 原型，不添加显著性提取和模板筛选； ITTI 显著点组(之后简称显著点组)：在原型的基 础上添加显著性提取； 模板筛选； 完整改进组(之后简称完整组)：添加显著性提取 板筛选。 到了针对不同特 量的识别率和识别时间的情况。 3.3.1 表1为对于原型组、著点组、筛 同特征数量提取操作下实验的识 著点组使用 ITT omparison of 表1. 识别率 92 原型组 84.48 89.04 89.22 91.14 92.93 显89 著点组 85.69 .26 90.60 91.96 93.70 筛选组(*4) 73.94 82.63 85.45 89.84 92.03 完整组(*4) 75.53 83.63 88.43 91.48 92.31 Table2. Comparison of recognition times 512 1024 2048192 表2. 测试时间对比 特征数量 8 4096 原型组 0.4122 0.6812 1.422 2.779 5.612 显著点组 0.3424 0.5770 1.105 筛选组(*4) 0.1710 0.2541 0.5233 0.6780 1.847 0.4406 0.5898 1.524 2.412 4.131 完整组(*4) 0.1754 0.2164 Copyright © 2012 Hanspub 237  基于改进的 HMAX 算法的车型识别应用 Copyright © 2012 Hanspub 238 模板，因而相比原型组在识别率方面可获得1%~2% 的提高。 3.3.2. 测试时间(/s)对比 组 共四 比2 间的 1/4 到1/3左右。 3.4. 1、 也存在识别时间缩 明显，识别率却下降了 5%的情况。为了综合评 于识别率和识别时间方面的提升效益，本 实验 表2为对于原型组、显著点、筛选组和完整组 组操作进行不同特征数量提取操作下实验的识 别时间对 。如表所示，依据 SVM 表现去掉无效 和低效模板后，在相同特征数量条件下，模板筛选组 识别时间约为原型组时 数据分析与讨论 对比表表 2可知，实验组中存在识别率提升 1%，识别时间却多出几倍的情况， 短不 估本实验对 选用一种综合考虑识别率和识别时间对效益值 的贡献的评估方法，以效益值作为最终评估数据。效 益值计算方法为： 1 1R ET (8) 其中 E为效益，R为识别率，T为每张图的识别时间。 结合表 1、表2数据，可以得到四组效益值。 表示了四个实验组在不同特征 数量下的 变 遍得 何改进，因而该组识 其他三组都存在一定程度的不 组识别率平均比显著点组低 0.88%，识别时 间约 识别时间。 机特征提取方法，模板具有很强的 随意性，难免产生误差。实验表明，筛选组的识别时 间相对原 较高的评估效益值。完整 组的平均 到最高值，而原型组在四组数据中效益值普遍最 低。显著点组和筛选组随特征数量变化，效益值有不 同程度的起伏。 对于原型组，由于未采取任 别率和识别时间相比 足。原型 为筛选组识别时间的3~4 倍。此外，由于该组数 据保留了大量冗余模板，在特征数量大于 1024 时， 效益值有持续下降的趋势。 对于显著点组，特征数量较少时，由于没有进行 任何模板筛选，可以获取更多模板信息，如特征数量 取512 左右时可以取得最高的效益值，并且识别时间 上相对原型组没有额外消耗。然而当特征数量大于 1024 时，该组效益值出现持续下降的趋势，其原因是 该组保留了大量冗余模板。 筛选组中，根据 SVM表现，滤掉了对实验结果 贡献较小的模板，因而可最大程度地节省 然而筛选组使用随 型组和显著点组明显缩短，其识别率相比显 著点组和完整组也明显下降。 完整组结合了ITTI 模型和筛选特征模板方法，因 图5所示四条曲线 此在特征数相同时普遍获得 识别率比筛选组提高了1.5%，较原型组的平 均识别时间缩短了3.461 s/幅(70.91%)，其效益值在特 效益值 化和对比结果，其中横坐标为特征 向量，纵坐标为效益值。完整组在效益评估中可以普 12 13 14 15 16 原型组 显著 11 点组 筛选 9 10 组 完整组 8 6 7 5121024 2048 4096 8192 Figure 5. Evaluation of experimficiency 图5. 实验测试效 ental ef 益评估  基于改进的 HMAX 算法的车型识别应用 都进行了模板筛选操作，可以减少冗余信 征数量改变时，效益值曲线 量 取4096 或8192 时，显著点组每提 1%识别率，所 均值和识别时间平均值分别 为3.089 本文提出了从 取、特征提取、模板库训 练和分类四步骤入手，一种基于ITTI 算法、HMAX 模型和线性分类器的车型识别新 明： 存在 的其他车型识别算法在识别率方面可提升约 别时间，在保证识别率基本不变的前提下，普遍可 以将识别时间减少为原先的1/4。 3) 该方法针对识别率和识别时间的双重标准，提 出了一种新型的评估标准，即效益评估策略，保证了 综合兼顾的考虑到识别率和识别时间对效益值的贡 献。 的车辆识别提出了一种新的思路。 ple and novel method for vehicle model based test). 9th Interna- pe recognition in highways e extraction. 2010 Inter- 15-17 December 2010: 353-356. on Computer Vision, 1999, 2: 1150-1157. [9] M. Riesenhuber, T. Poggio. Hierarchical models of object rec- ognition in cortex. Nature Neuroscience, 1999, 2(11): 1019-1025. [10] J. Mutch, D. G. Lowe. Object class recognition and localization using sparse features with limited receptive fields. International Journal of Computer Vision, 2008, 80(1): 45-57. [11] J. Mutch, D. G. Lowe. Multiclass object recognition with sparse, localized features. New York: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2006: 11-18. 征数量约为4096 左右时取得最大。此外，因为筛选 组与完整组 息。筛选组与完整组在特 走势平稳，两组均在特征数量为 4096 时取得最大效 益值。 尽管表 1数据显示，完整组的识别率相比显著点 组平均低 1.39%，但显著点组中识别率的提升是以识 别时间呈几何倍数的增加为代价换取的。在特征数 升 额外花费的测试时间平 s/幅与 1.876 s/幅。如图 5中显著点组效益曲 线所示，当特征数量超过 1024 时，该组效益值随特 征数量的增加而降低，这一变化趋势有力地证明了上 述观点。 4. 总结 显著点提 方法。实验结果表 1) 该算法在保证特征数量数目不变前提下，相较 原先算法可以提升1%~2%的识别率，相对当前 10%~15%，在保证特征数量时，识别率可达 95%左右。 2) 该算法实现了保证识别率前提下明显的减少 识 4) 实验数据表明该方法具备空间不变性和尺度 不变性的特征，能够识别不同朝向、不同尺度的汽车 图像，对基于图像 本实验仅采用了单一的线性分类器，并未考察其 他更复杂的分类器对本实验样本的分类效率，因此我 们下一步的研究方向是针对分类器的修改，采用人工 神经网络以提升测试效益。 参考文献 (References) [1] Y. Cui, Q. Y. Cui and Q. Huang. Automatic license extraction from moving vehicles. International Conference on Image Proc- essing, 1997: 126-129. [2] G. Pearce, N. Pears, Automatic make and model recognition from frontal images of cars. Advanced Video and Signal-Based Sur- veillance (AVSS), 8th IEEE International Conference on Digital Object Identifier, 2011: 373-378. [3] A. Ajmal, I. M. Hussain. A sim detection and classification (a tional Bhurban Conference on Applied Sciences and Technology (IBCAST), 2012: 58-63. [4] X. Clady, P. Negri, M. Milgram and R. Poulenard. Multiclass vehicle type recognition system. Artificial Neural Networks in Pattern Recognitio n, Lecture Notes in Co mputer Science (LNCS) , Springer, 2008, 5064: 228-239. [5] Y. Lu, B. Cai and D. Y. Zhang. Contour based car recognition algorithm. International Symposium on Computer Network and Multimedia Technology, 18-20 January 2009: 1-4. [6] M. M. Arzani, M. Jamzad. Car ty based on wavelet and Contourlet featur national Conference on Signal and Image Processing (ICSIP), [7] L. Itti, C. Koch and E. Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259. 8] D. G. Lowe. Object recognition from local scale-invariant fea- tures. The Proceedings of the 7th IEEE International Conference [ Copyright © 2012 Hanspub 239 |