ABSTRACT

At present, surveillance video plays a key role in investigating and solving cases. At the same time, with the rapid development of artificial intelligence represented by in-depth learning, face recognition has become a mainstream means of solving cases. However, due to the intentional occlusion or video resolution of the suspect, the information of key parts of the face is lost, which makes the face recognition system unable to complete face matching. Therefore, in view of the above problems, this paper intends to carry out relevant research on the processing methods of occluded and blurred face images. By smoothing and denoising the image, eliminating the sharp noise of the image, eliminating the noise interference; pupil detection accurately locating the eye position, normalizing the feature vectors, the problems of face scale change and face rotation are solved. Finally after removing the obstacles of the face image, the defective face area is filled with the domain information to achieve the effect of completing.

Keywords:Face Image, Image Completion, Adaptive Repair

人脸图像补全的方法用途及研究

申小虎，王聪

江苏警官学院，江苏 南京

收稿日期：2019年3月28日；录用日期：2019年4月8日；发布日期：2019年4月19日

摘 要

目前，监控视频在侦查破案中起到了关键性作用，同时随着深度学习为代表的人工智能的迅速发展，利用人脸进行身份识别已成为主流破案手段。然而，由于犯罪嫌疑人故意遮挡或视频分辨率等原因，造成人脸关键部位信息丢失，使人脸识别系统不能够完成人脸匹配。因此，本文拟针对上述问题，对遮挡的、模糊的人脸图像的处理方法开展相关研究。通过对图像的平滑去噪，去除图像的尖锐噪声，消除噪声的干扰；瞳孔检测精确定位眼睛位置，将特征向量归一化，以此来解决人脸尺度变化和人脸旋转问题；最后移除人脸图像的障碍物，利用领域信息填充缺损的人脸区域达到补全的效果。

关键词 :人脸图像，图像补全，自适应修复

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 绪论

目前，监控视频在侦查破案中起到了关键性作用，同时随着深度学习为代表的人工智能的迅速发展，利用人脸进行身份识别已成为主流破案手段。然而，由于犯罪嫌疑人故意遮挡或视频分辨率等原因，造成人脸关键部位信息丢失，使人脸识别系统不能够完成人脸匹配。因此，本文拟针对上述问题，对人脸补全方法开展相关研究。

在调查期间，公共安全和司法部门经常使用照片、视频和其他图像技术来记录和显示与罪犯有关的物品和图像。1997年修订的《刑事诉讼法》提供了视听材料作为第七项法律证据。因此，图像证据在惩治犯罪和维护公共秩序方面发挥着重要作用。

监视视频是指根据法律法规观察，获取和处理特定场所和个人的图像和声音。这些法律和条例使用摄像机、音像传输设备和处理设备来了解有关人员的活动。

随着视频监控技术的普及，相机和视频监控系统已经安装在公共场所，如银行，政府机构，收费站，交通路口，住宅区和其他住宅区。公共安全机构、监督机构和国家安全机构也广泛使用视频技术来打击犯罪和确保社会安全。

1.1. 研究背景和意义

大多数银行、储蓄机构和其他金融机构现在都安装了视频监控设备。在监督工作人员的同时，它还储存了大量的犯罪信息和线索，例如银行盗窃案以及ATM机诈骗案。在解决案件的过程中，有必要使用与案件相关的这些视频作为识别图像。

然而，由于光线不足、目标的相对移动和镜头的不准确角度等客观因素的影响，大量记录的数据不清楚，很难确定细节。同时，由于障碍重重，柜台外的罪犯面部特征不完整，很难从视觉上证实罪犯的真实外貌。

某些因素的局限性严重影响了关键线索的提取和使用。由于缺乏重要证据会削弱视频数据作为证据的有效程度，所以会严重影响案件的调查。如何使监视图像模糊变的完整，是必须解决的紧迫问题之一。

本文主要研究如何纠正模糊和不完整的人脸图像，使不可辨认面孔的图像清晰可见；如果发现被障碍物覆盖或损坏的面部图像，则进行精确修复。

而人脸补全研究对于公安工作发挥着重要的作用，主要表现在：

1) 为刑事调查提供指导：案件的发现受到时间、空间和光线限制的严重影响。通过恢复视频数据，公安部可以从监控图像上提取罪犯的照片，这可以使罪犯的录音图像为破案提供有力的线索，并协助公安机关进行调查。

2) 它可以为民事案件的起诉提供基础：随着摄像与照相越来越受欢迎，在民事案件中，视听材料证据被带上法庭。但是，由于拍摄技术和拍摄环境有限，许多图像不清楚，不适合在法庭上使用。运用人脸补全技术对图像进行清晰处理可以使图像和视频材料更具作为有效证据的说服力。

总的来说，对不完整的面部图像的研究不仅能够有效地侦查各种刑事案件，此外，模糊图像处理为其他应用领域提供参考资料，例如恢复旧照片，修复图稿等。因此，对这一问题的研究将产生巨大的经济效益和深远的社会影响。

1.2. 模糊人脸图像补全方法

对于模糊人脸图像的补全方法，一共分为4步：

1) 处理输入图像以解决噪声干扰和照明问题；

2) 在此基础上，检测和定位人脸图像，并进行标准化处理；

3) 确定是否有障碍物覆盖，如果有，则移除面部障碍物；

4) 确定图像的模糊程度，并且自适应地调整模糊部分以执行恢复处理 [1]。

2. 人脸补全方法

2.1. 模糊人脸图像区域的标定

面部的精确定位对随后的特征提取具有重大影响。过去，面部区域的位置主要是通过人与计算机的互动来确定的，而不考虑“自动定位”的作用。但是，为了开发全自动人脸图像处理系统，“自动定位”至关重要。如何利用丰富的脸型特征来精确定位脸部是一个关键的问题，但是脸部识别面临许多困难，

主要包括：

1) 光线条件的多变；

2) 成像背景的复杂；

3) 人脸尺寸的不确定；

4) 脸部姿态和表情的多样化。

2.2. 人脸图像的标准化处理

收集的面部图像可以具有倾斜，不同尺寸，灰度差异等。为了确保面部提取工作的准确性，有必要使面部图像标准化。在图像转换处理中，需要考虑原始图像和目标图像像素之间的对应关系，并考虑彩色图像的颜色值的变化。

2.3. 不完整人脸图像的补全

在被遮挡的区域中，物体的连接方式只能根据所看到的内容进行猜测。可靠地建立最佳猜测并不简单，因为必须处理如模式识别和统计信息等复杂图像工作。用于自动查找和消除障碍物遮挡并揭示隐藏面部区域的方法是研究的重点之一 [2]。

3. 解决难点的方法方式实现图像自适应修复

3.1. 图像预处理

本文在预处理阶段的主要工作包括：

噪声的平滑处理：影响系统图像清晰程度的因素很多，如设备性能的好坏等。为了增强有用信息，必须平滑图像以提高图像质量。

3.1.1. 平滑去噪

图像能量主要集中在低频部分，噪声主要集中在高频带。鉴于中值滤波能够缩小或消除高频分量，使其在灰色值上有很大的差异，并且能够克服线性滤波器造成的图像边界模糊不清。在这个问题上，平滑处理首先使用3 × 3的正方形中值滤波窗口，以消除高频干扰，达到令人满意的滤波效果 [3]。

具体的算法如下：

1) 漫游图像中的窗口，并将窗口中心与图像中的像素位置相匹配。

2) 统计窗口中每一个像素的灰色值；

3) 按降序排列列中的灰度值；

4) 寻找出排在中间的一个值；

5) 把此中间值分配给窗口中心的像素。

具体操作则需要用MATLAB编程软件来实现，对于椒盐噪声图像，用冒泡排序法将窗口内的9个像素按照像素值大小进行排序，将中间得像素值赋值给窗口中心的像素；而对于高斯噪声的图像，则需要将窗口内9个像素值进行相加求和，再去平均值赋值给窗口中心像素 [4]。

图1显示了各种滤波方法的比较结果。从图中可以看出，在彩色图像的实际情况中，中值滤波的平滑效果比均指滤波更重要。主要特征是滤波图像的轮廓更清晰；该方法有效地消除了图像中的脉冲干扰和粒子噪声，并保护了图像边缘信息。

图1. 滤波方法的比较

3.2. 标准化处理

3.2.1. 瞳孔检测

在模糊的图像中，人的眼睛仍然有较强的能力聚焦于被摄物体上，瞳孔的距离是最稳定的人脸图像因素。在此基础上，本文选择瞳孔距离作为特征向量归一化过程中的参考。

由于眼睛与肤色的差异较大，二值化后，人眼对应着一对黑块，每个黑色块的宽度大于高度，位于轮廓的中心线的两侧和上方。本文标定瞳孔的过程如下：

1) 对边缘检测的结果进行水平方向的投影，并进行投影直方图分析，确定眼睛在水平轴上的两个范围L和R；

2) 如图2所示：在L和R的上部区域中沿垂直方向投影，以获得第一峰值附近的区域A和B；双眼分别被框在A，L和B，R的矩形区域内。由于双眼中心位于眉毛下方，因此可以消除眉毛的干扰。

图2. 瞳孔检测

瞳孔及其周围区域占据的黑色区域最大，黑点区域扩大。设该区域有a个像素点，则该区域的中心坐标为：

$C\left(i,j\right)={\displaystyle \underset{a=1}{\overset{A}{\sum }}S\left(a\right)}$ (3.1)

式中 $S\left(a\right)$ 表示该区域中的第a个像素点的坐标值。具体实验结果如图3。

图3. 瞳孔检测处理

实验用MATLAB编程软件完成即可，对眼睛进行粗略定位，将图像转化为灰度图像，根据肤色模型将图像二值化，依据上述公式计算出低灰度级的概率总和和高灰级的概率总和，提取眼睛轮廓，精确定位眼睛矩形，最高点、最低点、最左边、最右边四点确定的矩形。

3.2.2. 角度规范化

在平面中旋转的面部图像是指面部图像围绕Z轴的旋转，其属于人的左右头部运动。其特征在于人体上每个器官的大小和相应位置没有变化，而是在人脸的二维图像的坐标系(X-Y)中仅有一定的旋转。由于图像信息基本上不会丢失，因此校正面部可以将图像反转回其偏转角度 [5]。

根据人脸的生理学知识可知：在没有旋转角度的面部的正面图像上，人的眼睛大致在水平线上。因此，人眼位置的校正用于归一化面部图像的角度。

具体过程如下：

1) 找到瞳孔的位置后，设左右两瞳孔的坐标为 ${\left(x_L,y_L\right)}_1$ 、 $\left(x_R,y_R\right)$ 。

2) 使用两个点确定直线以找到两条光瞳线的线方程，并找到该线的斜率k，k是两瞳孔之间中垂线与图像垂线的夹角 $\beta$ 的正切值。

$\beta =\arctan \frac{y_L-y_R}{x_L-x_R}$ (3.2)

3) 将两瞳孔连线作为X轴，两瞳孔连线中点作为固定点0，根据夹角将图像在X-Y平面内进行旋转，使中心线垂直于图像横轴 [6]。原始图像中的像素的位置 $\left(x_a,y_a\right)$ 与旋转变换后的图像中的新位置 $\left(x_b,y_b\right)$ 之间的关系如式(3.3)所示。

$\{\begin{array}{l}{x}_b=x_a\times \cos \beta +y_a\times \sin \beta \\ y_b=y_a\times \cos \beta -x_a\times \sin \beta \end{array}$ (3.3)

旋转过程的前提条件是：面是两侧对称的，面的中心线平行于Y轴而没有旋转。因此，图像的中心线和垂直线之间的角度 $\alpha$ 近似等于图像绕Z轴的旋转角度。

3.3. 不完整人脸图像的补全去除障碍物

消除覆盖物是完成图像补全技术考虑中的一项重要任务。本节重点介绍如何修复包含蒙版的静态人脸图像。

本文讨论的遮盖物主要是指遮盖人脸的条形障碍物，移除方法如下：

1) 二值化图像的垂直积分投影显示了条带障碍物的特征：在障碍物区域内，投影曲线对应Y轴的坐标值先后经历突然变小(或消失)、投影值变化甚微、突然变大的过程。

2) 结合边缘提取的结果，以突然变化的两点所对应的X轴坐标为起点，在人脸二值图像中检测障碍物的两条直线边界 [7]。

3) 在含障碍物的人脸图像中，将两直线边界之间的矩形区域内的所有像素的灰度值置为0。移除障碍物后，根据被遮盖区域的邻域信息填充缺损的人脸区域，以恢复隐藏的部分。复原效果见图4：

图4. 遮挡物人脸得复原

由对比图可以看出仅利用脸部领域信息填充缺损得人脸区域可以在一定程度上进行复原，但还原度不高，效果并不是很明显，不同的人脸有着不同得特征，可以利用对抗式神经网络结构拓宽数据样本得范围，致使复原的准确度更高，这也是未来要研究的一个方向 [8]。

4. 结论与展望

本文研究了恢复障碍物遮挡的、模糊的人脸图像的方法。通过模拟试验，实现了对不完整的模糊人脸图像的修复补全，对于恢复障碍物遮挡的、模糊的人脸图像，本文提出了一个人脸补全的方法，运用结合肤色信息和像素分布特征检测瞳孔，归一特质向量，在确定有障碍物遮挡后对其进行移除，再利用领域信息对人脸图像进行补全。对于面孔图像模糊程度的判定标准，模拟实验显示，引入各向同性的拉普拉斯算子，能有效突出图像的边缘信息，定义自适应修复的加权因子对模糊人脸图像进行清晰化处理，从而减少人工干预，使修复后的人脸图像达到了预期的效果。

随着图像处理、人脸识别、人工智能的研究进展，人脸补全技术也会获得更为广阔的发展空间，犯罪嫌疑人反侦察意识日益增强，人脸补全技术在公安领域的地位越发突出，通过构建深度学习网络模型可以达到对信息缺损的重构补全、对人脸信息进行比对的效果，快速、准确锁定犯罪嫌疑人，提高公安工作效率。

人脸补全经过多年的研究已经有了大量研究成果，但在实际应用中仍面临着许多的困难，如何快速、准确检测并分割出人脸部分，如何对图像进行有效的变化补偿都将成为今后研究的主题。人脸局部与整体关联性能有效地反映人脸的特征，如何利用这一特点有效地提取和组合局部与整体的特征值得深入研究。同时，不同的人脸具有不同的特征，对多特征进行融合来提高人脸补全的相似度也是一种改善手段。

文章引用

申小虎,王 聪. 人脸图像补全的方法用途及研究
Research and Application of Face Image Completion Method[J]. 图像与信号处理, 2019, 08(02): 65-71. https://doi.org/10.12677/JISP.2019.82010

参考文献