手指静脉的网络结构是指静脉区分性的来源,但获得可靠的手指静脉网络结构描述一直是个难题。为此,本文提出一种基于图模型与定序编码的手指静脉网络特征描述方法。对于一幅手指静脉图像,首先通过划分图块来获得图的节点集,其次利用三角剖分法获得图的边集,边的权重由边所连接的节点特征来决定。经过上述操作,一幅手指静脉图像可构建一个加权图,通过度量加权图的邻接矩阵相似度来实现手指静脉识别。本文中研究影响识别结果的几个因素,并通过实验证明了该方法的有效性。 The network structure of finger veins is the source of distinguishment, but it has always been a difficult problem to obtain a reliable description of the vein network structure. So, in this paper, we propose a finger vein network feature description method based on graph model and Gabor ordinal measure. For a finger vein image, this paper first obtains the node-set of the graph by block division, and then uses the triangulation method to obtain the edge-set of the graph. The weights of the edges are determined by the features of the nodes connected by the edges. After the above operations, a finger-vein image could be represented by a weighted graph, and the adjacency matrix of this weighted graph was used for fingervein recognition. In this paper, several factors affecting the recognition results are studied, and the effectiveness of the method is proved through experiments.
手指静脉的网络结构是指静脉区分性的来源,但获得可靠的手指静脉网络结构描述一直是个难题。为此,本文提出一种基于图模型与定序编码的手指静脉网络特征描述方法。对于一幅手指静脉图像,首先通过划分图块来获得图的节点集,其次利用三角剖分法获得图的边集,边的权重由边所连接的节点特征来决定。经过上述操作,一幅手指静脉图像可构建一个加权图,通过度量加权图的邻接矩阵相似度来实现手指静脉识别。本文中研究影响识别结果的几个因素,并通过实验证明了该方法的有效性。
手指静脉识别,加权图,定序编码
Ziyun Ye, Binmeng Shi, Mengna Wen*
Institute of Applied Artificial Intelligence of the Guangdong-Hong Kong-Macao Greater Bay Area, Shenzhen Polytechnic, Shenzhen Guangdong
Received: Nov. 15th, 2021; accepted: Dec. 10th, 2021; published: Dec. 17th, 2021
The network structure of finger veins is the source of distinguishment, but it has always been a difficult problem to obtain a reliable description of the vein network structure. So, in this paper, we propose a finger vein network feature description method based on graph model and Gabor ordinal measure. For a finger vein image, this paper first obtains the node-set of the graph by block division, and then uses the triangulation method to obtain the edge-set of the graph. The weights of the edges are determined by the features of the nodes connected by the edges. After the above operations, a finger-vein image could be represented by a weighted graph, and the adjacency matrix of this weighted graph was used for finger-vein recognition. In this paper, several factors affecting the recognition results are studied, and the effectiveness of the method is proved through experiments.
Keywords:Finger-Vein Recognition, Weighted Graph, Gabor Ordinal Measure
Copyright © 2021 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
手指静脉识别是模式识别和生物特征识别领域的研究热点。传统的身份鉴别方法具有易丢失、遗忘、安全性差等隐患,为了适应当前的信息安全需求以及使用便捷性,人们越发关注基于生物特征的身份鉴别技术的发展。人脸、虹膜、指纹都是生物特征识别的热点,但这些特征都存在一些应用上的不足,如人脸易受光照、化妆以及假脸的影响;虹膜采集要求高、设备便携性差;指纹易磨损,存在少部分人存在无指纹、指纹残缺的现象。相比于这些生物模式,手指静脉模式具有其得天独厚的优势。
手指静脉识别一般采用的是位于人体手指第二关节与第一关节之间的静脉血管网络影像图。由于,其无法通过表面成像,故目前都是采用近红外光对指静脉血管进行透射成像 [
医学研究发现,手指静脉血管网络结构的形成是结构性规律与随机过程的统一。因此,手指静脉的区分性来自于其自身的结构特征。但红外投射成像机制,由于光线在生物组织中,存在散射现象,导致采集图像中存在严重退化,这为完整的、可靠的提取血管网络结构带来了巨大困难。所以,传统方法大多是以图像处理方法为基础,采用纹理特征 [
然而,传统特征提取和分析方法容易忽略血管网络的结构特性。图(graph)是一种数据结构描述方法,能够描述数据单元间的结构关系。基于图的特性,本研究提出将图与手指静脉识别进行结合,构建手指静脉图像的加权图模型,不仅能够描述图像全局的结构特征还能够通过边的权值来描述局部特征之间的关系。
图论的研究最早起源于1736年的哥尼斯堡七桥问题,之后逐渐发展成为了数学的一个分支,并广泛地运用于现代科学的许多领域,例如运筹学、数字图像处理、信息论、网络理论等领域 [
在构建图模型时,节点的选择可为图像的像素点或者图像内容的细节点。由于图像尺寸较大,像素点数通常较多,这会使图的规模变得庞大,进而使得图的邻接矩阵维数激增,极大地增加了图匹配的负担;若选取图像细节点作为节点,手指静脉图像退化严重,图像内容细节点通常不稳定兼有因为图像增强带来的虚假细节点,这些因素会影响图模型的稳定性和图匹配的准确性。兼顾上述因素,本文利用图像的局部区域作为节点,对图像进行划分,将图块集抽象为节点集,提取图块的特征作为节点特征,通过三角剖分算法连接节点集,根据节点特征对图的边集进行赋值,从而获得手指静脉图像的加权图模型。
本文最后,针对上述构建的加权图模型,通过设置实验来分析,图模型中的相关参数对于识别效果的影响,并给出相应的结果分析。
令 G ( V , E , W ) 为一个加权图,其中V,E,W分别代表节点集、边集和权重集。 V = { v 1 , v 2 , v 3 , ⋯ , v n } , E = [ e i j ] n × n , W = [ w i j ] n × n ,其中 i ≠ j 。W中元素为非负实数,当满足 w i j = w j i 时,权值函数是对称的,图为无向图,反之则为有向图。
节点集V通过划分图像获得, V = { v 1 , v 2 , ⋯ , v i , ⋯ , v n } ,n为图块数目,节点vi对应图像中第i个图块。图块划分时,假设图像尺寸为M × N,图块尺寸为h × h,以及k表示相邻两图块间交叠部分的尺寸,因此n可以通过式(1)计算得到。
n = M − k h − k ⋅ N − k h − k (1)
其中,通过设置不同的k和h值,能够获得不同的图块划分结果,如图1所示。当k = 0时,图像分块等效为均匀划分,当k > 0时,等效为滑窗划分,注意k ≤ h/2。
图1. 图块划分结果
图的边集E利用三角剖分算法连接相邻节点获得,记作 E = { e 12 , e 23 , ⋯ , e i j , ⋯ } ,其中eij为连接相邻节点vi和vj的边。通常认为图像的局部内容仅与相邻的图像内容相关性较高,其相关度随着距离的增加而下降,因此三角剖分算法能够很好的体现这种相关性,且这种节点连接方式的全局稳定性较好。在有向图中,当节点vi与vj满足 j ∈ { i + 1 , i + r + 1 , i + r | v j ∈ V } 时 e i j ∈ E ,如图2所示,其中r为图块列数即 r = M − k / h − k 。
图2. 节点连接方法
权值函数W是用来描述节点间的特征表达。不同的权值函数能够为图附加上多种类型的图像细节信息,本研究中定义的权值函数如下:
w ( v i , v j | e i j ∈ E ) = W ( v i ) × S ( v i , v j ) (2)
W ( v i ) = 1 (3)
W ( v i ) = AAD ( f i ) (4)
W ( v i ) = AAD ( B i ) (5)
其中,W(vi)代表节点vi所对应的图块特征,S(vi, vj)表征相邻节点vi、vj对应的图块特征的相似度。式(3)~(5)给出了三种W(vi)的计算方法,其中AAD代表绝对离散算子。
提取图块的定序编码作为节点特征。定序特征来源于对数量排序的测量,例如对比两个人年龄就是一种定序测量,因此其被广泛应用于社会类科学研究,也常用于非参数类的统计领域。
LBP是一种常见的图像编码方式,而LBP编码可以认为是中心像素与领域像素的定序测量结果。因此定序测量的概念被引入到人脸、虹膜、掌纹识别等应用场景,研究中发现其对光照和噪声鲁棒性高。在前述识别研究中 [
GOM提取过程中,首先利用Gabor滤波器对指静脉图像进行增强,然后将增强结果与多方向Gabor滤波器组进行卷积,获取图像的Gabor多方向幅度特征图,最后使用定序滤波器对Gabor多通道幅度特征图进行编码。定序滤波器中包含多个峰值和谷值,将定序滤波器与图像卷积,滤波结果为正,编码为“1”,反之为“0”,滤波结果为0是小概率事件。本文采用的定序滤波器如式(6)所示:
M L D F = C p ∑ i = 1 N p 1 2 π δ x exp [ ( x θ − w x ) 2 + y θ 2 − 2 δ x 2 ] − C n ∑ j = 1 N n 1 2 π δ y exp [ ( x θ − w y ) 2 + y θ 2 − 2 δ y 2 ] (6)
其中, x θ = x cos θ + y sin θ , y θ = − x sin θ + y cos θ ; δ x = δ y = δ ;其中θ是滤波器方向,(wx,wy),δ分别表示滤波器的中心位置和尺度,Np、Nn分别是滤波器正、负瓣个数,Cn、Cp是滤波器正负瓣调节系数,满足 C p N p = C n N n ;实验中采用三瓣定序滤波器, C p = 1 , N p = 2 , C n = 2 , N n = 1 ,该滤波器效果较好,稳定性高。
图像中提取的特征呈矩阵形式,基于矩阵的图块间特征相似度计算公式如式(7)所示:
S ( v i , v j ) = exp ( ( − ∑ x = 1 X ∑ y = 1 Y ( f i ( x , y ) − f j ( x , y ) ) 2 ) / 2 σ 2 ) (7)
其中fi,fj分别为图块i,j的GOM特征,X,Y为特征矩阵的维度,σ为图块相似度的均值。图3为特征提取中各步骤结果。
图3. 特征提取结果
邻接矩阵用于记录图中各节点之间关系,记为AG,是一个n × n的矩阵,n为节点的数目,AG的行和列分别都表示图G的节点序列,若节点(vi, vj)之间有边连接,则矩阵中对应位置(i, j)处的元素值为边的权值wij,若节点(vi, vj)之间没有边连接,则对应位置(i, j)处为0,如式(8)所示:
A w ( i , j ) = { w i j , 0 , if ( v i , v j ) ∈ E else (8)
本研究利用邻接矩阵来简化图匹配过程,通过计算两个矩阵的相似度来判断两个图的相似性,相似度计算如式(9)所示:
S = ∑ p ∑ q ( A p q − A ¯ ) ( B p q − B ¯ ) ( ∑ p ∑ q ( A p q − A ¯ ) 2 ) ( ∑ p ∑ q ( B p q − B ¯ ) 2 ) (9)
其中,p、q为矩阵的维数, p = q = n ; A ¯ 、 B ¯ 分别为矩阵A、B的均值。
通过观察可发现,三角剖分算法使得邻接矩阵具有高维稀疏的特点,其仅在特定位置有值,研究中可以利用这一规律进一步提高匹配效率。通过对矩阵中的非零数据进行提取和重新排列得到重构矩阵,重构矩阵可视作邻接矩阵的压缩结果。重构矩阵的每一列表述单一节点与其相连节点的权值关系,因此重构矩阵是一个m × n的低维矩阵,其中m为单一节点所连接的节点数,n为图模型的节点总数,如表1所示。
节点 权值 | v1 | v2 | v3 | … | vi | … | vn |
---|---|---|---|---|---|---|---|
w1 | w11 | w21 | w31 | … | wi1 | … | wn1 |
w2 | w12 | w22 | w32 | … | wi2 | … | wn2 |
… | … | ||||||
wm | w1m | w2m | w3m | … | wim | … | wnm |
表1. 邻接矩阵的重构矩阵
为了验证本文方法的鲁棒性,研究实验分别在两个图像库中进行。图库1为实验室自制的手指静脉图像库,其中包含5000张样本图像,共500类,每类10张图像,其采集图像和感兴趣区域(Region of Interest, ROI)图像如图4(a)所示;另一个来自于山东大学制作的手指静脉图像公开库,其中包含3816张样本图像,共636类,每类6张图像,其采集图像和ROI图像如图4(b)所示,从中提取100类组成图库2,共600张图像。实验中采用的测试集和训练集的比例为4:1,判别时选取平均相似度最大的类别作为图像的类别标签。
图4. 不同图库的原始指静脉图像以及其ROI图像
从第2节的图模型构建过程可以看出,选择合适的权值函数对图模型构建具有重要意义,进一步观察式(2)可以发现,图模型的权值函数的变化来自于W(vi)的选择,因此需要对式(3)~(5)所式的三个W(vi)函数进行进一步的讨论。在图库1和2中对比不同的W(vi)对识别结果的影响。
图5. 不同权值函数的识别结果
从图5可以看出,当W(vi)如式(5)时,其识别结果最佳;当W(vi)如式(3)时取得的效果相对最差。因为当W(vi) = 1时,边的权值仅考虑节点特征之间的相似度而未考虑节点本身的特征,因此当计算边的权值时,加入节点本身的特征,有利于识别效果的提升。
图块参数包括图块的划分方式和图块的尺寸,图块划分方式和尺寸在一定程度上会影响GOM特征的效果,因此通过实验观察寻找最优的图块参数。其中当k = 0时,称为均匀划分,k > 0时,称为滑窗划分,本文实验中仅讨论k = 0和k = h/3两种情况。在图库1中进行图块参数的对比实验。
图6. 不同图块划分参数的识别结果
从图6可以看出,采用滑窗划分取得最佳效果时,图块尺寸要大于均匀划分的最佳效果,滑窗划分能够增加节点间的信息冗余,在一定程度上改善图像位移的影响,因此选用滑窗划分效果更好。
为了验证本研究所提出的方法的普适性,根据前两节实验所获得的构图参数,分别在两个图库中进行对比实验。实验中从图块划分方式出发对比识别性能,其中两种图块划分方式,采用相同的权值函数 W ( v i ) = AAD ( B i ) ,图块尺寸则根据第5.2节的结果,分别选取合适的划分尺寸,以获得最佳的识别效果,实验结果如表2所示。
图库 | 图块划分方法 | 单张测试时间/s | 识别精度/% |
---|---|---|---|
1 | 均匀划分 | 0.0312 | 96.2 |
滑窗划分 | 0.0458 | 99.1 | |
2 | 均匀划分 | 0.0388 | 92.8 |
滑窗划分 | 0.0704 | 96.5 |
表2. 不同数据库识别结果
从表2中可以看出,本文提出的方法在两个图库中都能取得了较高的识别精度和识别效率,这说明本文方法在不同数据库中都具有鲁棒性,能够适应较多的应用场景。通过进一步对比观察可知,本文方法在图库2中的表现略逊于图库1,究其原因包括:图库2图片采集条件复杂,样本量少,样本存在漏光现象,类内存在较明显的翻滚姿态变化,使得类内特征图像差异大。这说明本研究还需要进一步研究姿态差异下的特征表达。
本研究提出了一种基于图模型与定序编码的手指静脉识别方法,首先对图模型的构建以及特征提取方法进行了阐述,说明了图结构能够兼顾全局结构特征以及局部图像特征的描述,并通过实验分析了图块划分方式、图块尺寸以及权值函数对识别结果的影响,证明了加权图模型在指静脉网络识别任务上的有效性以及普适性。
但本文还存在一定的问题:1) 图块划分是人为设定的,对于血管网络结构的描述仍有欠缺;2) 本文方法对于手指姿态变化较为敏感。这些问题都需要进一步研究。
叶子云,石滨萌,温梦娜. 一种基于图模型与定序编码的手指静脉识别方法Weighted Graph and Gabor Ordinal Measure Based Description for Finger-Vein Network[J]. 计算机科学与应用, 2021, 11(12): 2945-2952. https://doi.org/10.12677/CSA.2021.1112298