ABSTRACT

The image recognition experimental system of photoelectric hybrid based on the real-time joint transform correlation is designed and built in the paper. The transform of the digital images to coherent light images are realized by electro addressed spatial light modulator. The parallel and high speed processing Fourier transform of two-dimension images is completed by the optical section. The power spectrum of joint transform and the correlation results of the image recognition system are detected by the square-law detector CCD. The control software is programmed based on VC++.net programming language to control the operations of the spatial light modulators and the CCD orderly one by one in order and realize the real-time correlation recognition of the reference image and the target image. Three correlation parameters are defined to do quantitative analysis of the correlation results. The recognition experiments of real-world scene images based on the system are realized and the recognition time is about 34 ms.

Keywords:The Real-Time Joint Transform Image Correlation, Image Recognition, Optoelectronic Hybrid, Spatial Light Modulator, CCD

实时联合变换相关图像识别系统的设计

王红霞，孙红辉，赵选科，王莲芬，张清华

火箭军工程大学，陕西 西安

收稿日期：2019年7月10日；录用日期：2019年7月24日；发布日期：2019年7月31日

摘 要

设计和构建了基于联合变换相关的光电混合图像实时识别系统，该识别系统用电寻址空间光调制器完成数字图像和相干光图像变换，由光学部分高度并行快速完成二维图像的傅里叶变换，平方律探测器CCD完成联合变换功率谱和相关结果的探测。采用VC++.net作为开发语言编制了控制软件，操控空间光调制器和CCD有序工作，实现了目标图像和参考图像的实时相关识别。定义了三个相关参数，可以对相关结果进行定量分析。利用该系统对实景图像进行了识别实验，完成一次识别用时约34 ms左右。

关键词 :实时联合变换相关，图像识别，光电混合，空间光调制器，CCD

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

光学图像识别作为光学信息处理的技术手段之一，已成功地应用在许多的科技领域之中，如：目标跟踪、模式识别、精确制导等等。就光学特征识别而言，目标图像与参考图像相关信号的强度反映了这两幅光学图像的相似程度，这为图像的识别提供了一个定量的指标。光学相关识别主要有两类基本方法，其一是匹配滤波相关，其二是联合变换相关。与匹配滤波相关器相比，联合变换相关器的目标图像和参考图像可以同时输入光学系统，用目标图像和参考图像进行匹配，不需要制作专门的滤波器，也不存在精确复位调整问题，目标图像和参考图像均可作实时更新。联合变换相关器结构灵活，易于实现相关运算，并具有并行性、速度快和容量大等优点，此外相关器对输入图像的要求不像匹配滤波相关器那么高，能满足实际工作中的实时处理需要。联合变换相关识别最早是由Weaver和Goodman在1966年提出的 [1] ，近几年来，空间光调制器和CCD器件的迅速发展为联合变换相关器技术的发展提供了有利条件，光电混合联合变换相关识别已成为用以解决图像处理速度瓶颈、实现实时图像识别和目标跟踪的有效技术方法 [2] [3] ，越来越受到国内外研究者的高度重视与关注。本文基于联合变换相关设计了光电混合图像实时相关识别系统，系统中采用光学元件完成联合变换相关运算，空间光调制器SLM和CCD用来完成光信号和电信号的转换，计算机实现程序控制和分析判断任务。光学系统与计算机有机结合，确保了该系统进行图像识别的实时性和有效性。

2. 实时相关识别系统

2.1. 识别系统构成及相关原理

图1是实验中设计的实时光电混合联合变换相关识别系统结构图 [4] ，如图1所示：其中，S：激光强度调节器，L₁：显微物镜，O：针孔，L₂：准直镜，T：光阑，C：偏振片，SLM：空间光调制器，FTL：傅里叶变换透镜，CCD：电子耦合探测器。系统由计算机控制来自CCD1的目标图像f(x, y)和事先存在计算机中的参考图像h(x, y)并排呈现在空间光调制器SLM上，并使二者中心相距2a，采用经过针孔滤波和准直的相干平行光垂直照射SLM，经SLM呈现的输入光场可以写为：

$g\left(x_1,y_1\right)=f\left(x_1+a,y_1\right)+h\left(x_1-a,y_1\right)$ (1)

该输入光信号经傅氏透镜FTL变换后，在其后焦面上得其联合频谱：

$G\left(u,v\right)=F\left(u,v\right)\exp \left(j2\text{π}au\right)+H\left(u,v\right)\exp \left(-j2\text{π}au\right)$ (2)

式中 $\left(u,v\right)$ 为空间频率坐标， $u=x_2/\lambda f$ ， $v=y_2/\lambda f$ ，f为傅氏透镜焦距， $\lambda$ 为激光波长，而 $G\left(u,v\right)$ 、 $F\left(u,v\right)$ 、 $H\left(u,v\right)$ 分别是 $g\left(x,y\right)$ 、 $f\left(x,y\right)$ 和 $h\left(x,y\right)$ 的傅里叶谱。在FTL后焦面上放置的是CCD2平方律探测器，器件接受的光场强度分布为 $I\left(u,v\right)$ ，即联合变换功率谱(JTPS)：

$\begin{array}{c}I\left(u,v\right)={\left|G\left(u,v\right)\right|}^2\\ =F^2\left(u,v\right)+H^2\left(u,v\right)+F^{*}\left(u,v\right)H\left(u,v\right)\exp \left(-j4\text{π}au\right)\\ +F\left(u,v\right)H^{*}\left(u,v\right)\exp \left(j4\text{π}au\right)\end{array}$ (3)

联合变换功率谱被CCD2采集后输入到计算机PC中进行数字处理，处理完的功率谱再输入到SLM上，再经傅氏透镜FTL进行一次傅里叶变换，在其后焦面上得到相关输出光场为：

$\begin{array}{c}g\left(x_3,y_3\right)=f\left(x_3,y_3\right)\otimes f\left(x_3,y_3\right)+h\left(x_3,y_3\right)\otimes h\left(x_3,y_3\right)\\ +f\left(x_3,y_3\right)\otimes h\left(x_3,y_3\right)\ast \delta (x_3+2a,y_3)\\ +h\left(x_3,y_3\right)\otimes f\left(x_3,y_3\right)\ast \delta \left(x_3-2a,y_3\right)\end{array}$ (4)

式中：Ä表示相关运算，*表示卷积，式中第一项和第二项是目标图像 $f\left(x,y\right)$ 和参考图像 $h\left(x,y\right)$ 的自相关，两信号重叠在输出平面中心附近，为零级项，不是所需要探测的信号。第三、第四项是目标图像和参考图像的互相关，它们的中心分别位于输出平面的(−2a, 0)和(2a, 0)处，与中央零级分离，为一级衍射项，正是需要探测的一对互相关信号。如果这一对互相关信号有集中的峰值出现，说明目标图像中有参考图像，或二者相同。如果互相关信号没有集中的峰值出现，说明参考图像和目标图像不相同。用H₁、H₂分别表示目标图像和参考图像的宽度，则相关面上输出场光信号分布如图2所示。

图1. 光学相关实时图像识别实验系统框图

图2. 输出相关面上相关信号分布

2.2. 关键器件

2.2.1. 空间光调制器

空间光调制器(SLM)是一种能将数字信息加载于二维光学数据场上的器件，利用SLM可以将数字信号转换为光学信号，以便有效地利用光学运算的高度并行和快速的特点，SLM在构成实时光学信息处理系统中是最关键的器件。这类器件可在随时间变化的电驱动信号控制下，或者在另外一种空间光强分布的作用下改变空间上光分布的位相、偏振、振幅乃至波长，为了实现相关器的实时处理，空间光调制器是不可缺少的元件。我们系统中采用的空间光调制器主要参数如表1所示。

表1. 空间光调制器参数

2.2.2. 光电藕合器件CCD

在我们识别系统中，首先要输入所获取的图像，然后摄取光学相关所产生的功率谱和相关峰图像。图像的摄取与记录这些工作都是由电荷藕合器件才来完成的。CCD在系统中主要作为探测记录器件。设接收CCD的光敏面横向尺寸为L_CCD，如果CCD把相关面上的信息全部记录下来，由图2可知，则L_CCD必须满足下面条件：

$L_{\text{CCD}}\ge 4a+H_1+H_2$ (5)

本系统所采用的是一款200万像素千兆网接口数字相机。性能规格如表2所示：

表2. CCD参数

2.2.3. 傅里叶变换透镜

光学图像相关主要是应用衍射原理和透镜的功能完成输入图像的光学傅里叶变换。具有正焦距的光学系统都应当具有傅里叶变换的功能，它将光信号进行傅里叶变换，在频谱面上获得功率谱。傅里叶变换系统是光学相关设备的关键元件，傅里叶变换系统性能的优劣直接影响着光信息处理的效果。傅里叶透镜的主要参数是其相对孔径和焦距，傅里叶透镜的相对口径将决定着其空间带宽积的大小，即影响着其能接收信息量的大小。

在我们的识别系统中，用平行相干光垂直照射到SLM上，傅里叶变换透镜位于SLM后面，在傅里叶变换透镜的后焦平面上用CCD接收功率谱，根据衍射理论计算出所需透镜口径的大小为：

$D\ge 38.6\text{mm}$ (6)

根据实际情况和实验要求，实验中采用双胶合傅里叶变换透镜，该透镜由低折射率的正透镜(冕牌玻璃)和高折射率(火石玻璃)的负透镜组成，经过计算机优化设计，使像差都得到了很好的校正。傅里叶透镜结构如图3所示，其孔径D = 50 mm，焦距f = 300 mm。

图3. 双胶合傅里叶变换透镜结构

2.3. 相关识别结果参数设计

经过多次理论仿真计算和光学实验，最后对相关结果的判别，定义了三个相关参数：

1) 相关峰值I₀：CCD2所采集的互相关区域内相关信号的最大强度。

2) 半峰值面积S₀：采样区域内强度大于I₀/2的像素数目。

3) 信噪比SNR：相关峰最大强度与采集区域内的平均噪声强度之比。

$SNR=\frac{I_0}{{\displaystyle \underset{ij}{\overset{N}{\sum }}{I}_{ij}}/N}$ (7)

其中N表示采集区域内强度小于I₀/4的像素数目，I_ij表示噪声像素的强度。在相关结果得出后，对以上参数设阈值，如果参数同时满足事先设定的阈值条件，即作出肯定判断；否则作出否定判断。经多次实验探索，肯定判断的条件设定如下：

$I_0>100$ , $S_0<30$ , $SNR>15$ (8)

如果相关参数同时满足以上条件，则判断为相同的图像，如有一个参数不满足条件，则视为不同图像。

2.4. 实时相关识别系统软件设计

控制软件是基于微软公司的Visual Studio 2013环境下开发的，采用VC++.net作为开发语言，运行于Windows操作系统。软件部分设计了以下四个模块：

1) CCD控制模块：在实验系统控制程序中通过子函数的方法设计了对CCD的控制和采集模块。其中包括相机初始化、实时图像监视、单帧或连续图像采集、参数设定五个子程序。

2) 显示模块：在实验过程中需要将图像显示到SLM上，同时为便于观察功率谱、相关结果，本实验系统需要同时在3块显示器和1台SLM上同时显示图像数据。实现方法是在软件中同时打开4个窗口，1个为主窗口，显示程序控制界面，其余3个分别显示SLM、功率谱和相关结果。

3) 联合变换模块：联合变换模块主要负责图像识别的实现，包括对联合图像的预处理、功率谱的处理．设计了实时识别和分步识别两种模式，前者是自动实时完成两次傅氏变换识别和参数计算，后者是分步得到功率谱、保存和调用功率谱，以及分步实现第二次傅氏变换、参数计算。

4) 结果判定模块：此模块主要负责对最后的相关结果进行参数计算和识别结果判定，先根据设定的相关峰值强度、峰值面域和信噪比相关参数进行计算，再根据设计好的参数阈值进行结果判定。主要程序流程如图4所示：

图4. 识别系统软件主要程序流程图

3. 系统实时识别结果

图5和图6是我们建立的实时图像识别系统的识别结果，图5是参考图像和目标图像不同时的识别结果，两个识别(a, b)用时分别为49 ms和34 ms，图6是两个图像相同时的识别结果，四个识别(a, b, c, d)用时在34 ms~50 ms之间，相关参数如表3中所示。图6的相关峰值I₀和信噪比SNR都明显大于图5的I₀和SNR，图6的半峰值面积S₀也明显小于图5的S₀，即两个图像相同时，系统输出的相关信号锐而强，具有明显的相关亮点，两个图像不相同时，系统输出的相关信号比较分散，没有明显的相关亮点，系统对输入的图像实现了正确的实时识别。

图5. 不同图像的识别结果

图6. 相同图像的识别结果

表3. 图像识别结果相关参数对比

联合变换相关器的输出峰主要取决于目标图像与参考图像的“相似”性，两图像的大小、方向、对比度等任何方面的变化都会使相关峰下降。有关实验表明，当图像发生旋转大于5˚或尺寸变化大于10%等畸变时，相关峰的下降会导致不能做出正确判断。为了使相关识别系统具有畸变不变的功能，可采用Casasent提出的综合判别函数制作不同畸变情况的目标图像作为参考图像来进行畸变不变相关识别 [1] ，能够有效地提高对某类目标畸变图像的识别能力，但要综合出一个含有较多畸变目标图像信息的模板，并实现其畸变不变相关识别，将对算法速度、参考模板制作精度以及光学元件的性能提出更高的要求，这也是我们后续在实时联合变换相关实验设计研究中所要解决的问题。

4. 结论

为了充分发挥光学变换速度快、实时性强和计算机处理数据精确的优点，本文设计和构建了一个实时光学处理相关识别与计算机分析相关结果相结合的图像处理与识别系统。此系统把光学技术和数字技术的优缺点互补，系统中光学部分和电子部分分工合理，有序工作，利用光学器件的高速处理完成光场变换、傅里叶变换等运算量大、速度要求高的任务，用计算机技术完成光电转换控制和分析判断任务。系统实时识别结果表明了这种实景图像相关识别方法的有效性和实时性，随着光学元件性能和计算机技术的发展，这一图像模式识别技术在目标跟踪、智能仪表、机器人视觉等领域将有广阔的发展和应用前景。

致谢

马进同志帮助完成了控制软件部分的设计，在此表示深深的感谢！

文章引用

王红霞,孙红辉,赵选科,王莲芬,张清华. 实时联合变换相关图像识别系统的设计
The Design of the Real-Time Joint Transform Image Correlation Recognition System[J]. 应用物理, 2019, 09(07): 348-355. https://doi.org/10.12677/APP.2019.97041

参考文献