Journal of Image and Signal Processing
Vol.05 No.03(2016), Article ID:18138,26 pages
10.12677/JISP.2016.53016

An Overview and Research Perspective of Local Binary Pattern

Huina Zhang, Yumei Li*

Department of Mathematics, School of Science, Beijing Technology and Business University, Beijing

Received: Jul. 9th, 2016; accepted: Jul. 25th, 2016; published: Jul. 29th, 2016

Copyright © 2016 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

ABSTRACT

Local Binary Pattern (LBP) is a local feature on pixel level, which encodes the relative strength among the center pixel and the surrounding pixels. Because of its simple principle, high computational efficiency and feature discrimination, and low computational complexity, it has been popular in the computer vision field, such as in texture analysis field, face recognition field, expression detection field, and so on. Moreover, a number of extended methods about LBP, which are greatly improved in discrimination, robustness, and computational efficiency, are proposed. In view of the theoretical and practical value of LBP, in order to make the researcher have more comprehensive understanding and further study about LBP, this paper overviews LBP and its extended, and summarizes the specific application in different fields, and analyses the structure, as well as advantages and disadvantages. Then, some comparisons are done between LBP and other local descriptors in the aspect of identification, low dimension and invariance, and some conclusions are done about the application field of the extended LBP models. Finally, the future research directions of the extended LBP models are proposed.

Keywords:Local Binary Pattern, Texture Analysis Field, Face Recognition Field, Multi-Feature Fusion

局部二值模式方法综述及研究展望

张慧娜,李裕梅*

北京工商大学,理学院数学系,北京

收稿日期:2016年7月9日;录用日期:2016年7月25日;发布日期:2016年7月29日

摘 要

局部二值模式(Local binary pattern, LBP)是一种像素层的局部特征,编码了中心像素与周围像素之间的相对强度值。由于其理论简单、计算高效,具有较高的特征辨别力和较低的计算复杂度,因此在纹理分类、人脸识别和表情检测等计算机视觉领域得到了广泛的应用,进而提出了许多LBP扩展方法,在辨别性、鲁棒性和计算效率方面有了很大提高。鉴于LBP的理论意义和使用价值,为使研究者对LBP有一个更为全面的认识和了解,便于深入研究,在前面综述文献的基础上进一步对LBP及其扩展模式进行综述,归纳了LBP改进模式的结构和LBP在不同领域中的具体应用,分析了基本LBP方法及其扩展方法结构和其优缺点,在辨别性、低维性、不变性方面与局部描述符进行了对比,总结了LBP扩展模式的应用领域。最后指出LBP扩展模式有待继续完善和发展的研究方向。

关键词 :局部二值模式,纹理分析,人脸识别,多特征融合

1. 引言

局部二值模式(Local Binary Pattern, LBP)最早起源于纹理分析领域,由Ojala [1] 等人提出。该方法计算简单且有较高的特征鉴别力,因此被广泛应用于图像处理和计算机视觉领域,如纹理分类 [2] - [6] 、人脸识别 [7] [8] 、图像检索 [9] 、人脸检测 [10] [11] 和人脸表情分析 [12] 等,进而也引发了LBP的研究热潮,提出了许多LBP扩展方法。

纹理分析 [13] - [15] 是指通过相关的图像处理技术从图像中获得纹理定性描述的过程,可由统计的分析方法和结构的分析方法来实现。近年来,基于LBP的纹理分析方法凭借其简单的理论结构、计算的效率和优越的分类效果成为先进的纹理分析方法之一,是统计和结构的分析方法的结合,在纹理分析和人脸识别上得到了充分的研究和应用,取得了良好的辨别效果,并在模式识别领域和计算机视觉中占有重要地位 [16] [17] 。LBP通过局部模式分析纹理,打破了传统的在像素层上的纹理分析方法。

理想的描述子应该具备以下特征:1) 低维性;2) 较强的辨别力;3) 稳健的不变性;4) 对噪声具有鲁棒性。如何高效提取低维、简单且对噪声具有鲁棒性,对光照具有不变性的纹理特征,实现高性能的纹理分析一直是人们研究的热点问题。

近年来,LBP方法及其扩展方法的研究非常活跃,在计算机视觉及应用领域的主流国际会议(如CVPR (IEEE Conference on Computer Vision and Pattern Recognition)、ICCV (International Conference on Computer Vision)、ICISP (International Conference on Image and Signal Processing)、ICIP (International Conference on Image Processing))以及一些国际权威期刊(如IEEE Transactions on Image Processing,International Journal of Computer Applications,IEEE Transactions on Pattern Analysis and Machine Intelligence,International Journal of Computer Vision)上每年都有很多论文发表,年影响因子较高,高达4.352。

目前,已有文献对LBP方法进行了综述。文献 [18] 从理论模型改进方法的特点归纳了LBP方法,文献 [19] 主要总结了不同应用领域中LBP的具体结构。相比于上述两篇综述,本文融入了更新进展的文献,比较全面地综述了基本的LBP方法,对于LBP的扩展形式具体的总结了更多的模型结构,其中,LBP的理论扩展从阈值、尺度大小、预处理、多特征融合等方面展开论述,LBP的应用从纹理分析、人脸识别、表情检测等领域进行表述,并用实例进行了具体的展示。进一步,增加了LBP扩展方法在低维性、计算复杂度、辨别性和不变性几个方面的对比分析,并以表格形式更直观的对各个理论扩展模型的具体应用领域进行了归纳与总结。最后,分析了LBP扩展模式的进一步研究和发展方向。

2. 基本的局部二进制模式

2.1. 局部二值模式

局部二值模式(LBP)由Ojala等 [1] 人提出,是一种灰度范围内的点像素层级的纹理度量。LBP最初定义在3 × 3像素块中,以8邻域为例,将其中心像素点值作为阈值,与周围8个像素点值做比较,如果周围邻域像素点值大于等于阈值,则该邻域像素点位置就记为1,否则记为0。然后将阈值化后的值分别与对应位置像素的权重相乘再相加计算的值即为LBP值。其计算公式如下:

其中,

是邻域半径,为中心像素点的灰度值,代表中心像素点周围邻域像素点的个数,表示第个邻域像素点的灰度值。计算原理如图1所示。

为了改善原始LBP邻域尺度大小和邻域样本点数目的局限性,Ojala等 [3] [4] 对LBP进行推广,得到了更具有一般特性的LBP通用模式 [4] [20] [21] 。在灰度图像I(x,y)中,定义一个半径为R的圆环形邻域有P个邻域像素点,gc为中心像素的灰度值,gp为第P个邻域像素的灰度值。于是邻域像素点的坐标为:

图2为三种不同R、P值对应的圆环形邻域。

2.2. 一致LBP描述子

在纹理分析应用中,LBP会产生2P种模式。显然,LBP模式的种类会随着邻域样本点个数的增加而呈指数增加,进而特征向量维数将巨增,影响特征提取计算速度和识别效率。为解决特征维数巨增这一问题,Ojala等 [3] 人对LBP提出了“统一模式” (Uniform pattern)。在阈值化后的二值串中进行一次循环运算时,二值0到1或者1到0转变次数最多只产生2次的,称该模式为一致LBP。其余情况统称为非一致LBP。例如,模式00000000 (0次转变)、01110000 (2次转变)、11001111 (2次转变)是统一模式,被称为一致LBP。而11001001 (4次转变)、01010011 (6次转变)不是统一模式,被称为非一致LBP。

当邻域有P个样本点时,一致LBP产生的模式种类为P(P − 1) + 3,大大减少了特征的维数,提高了计算效率。图3 [22] 展示了以R为半径的8邻域的58种不同的一致模式。

2.3. 旋转不变LBP描述子

为使图像具有旋转不变性,Ojala等 [3] [20] [21] 又提出了旋转不变LBP。通过旋转圆形邻域得到一系列的初始定义的LBP,取其最小值作为旋转不变LBP的值,公式表示如下:

Figure 1. Computation process of LBP code for a center pixel with gray level 83

图1. 中心像素值为83的LBP编码计算过程

Figure 2. The circular neighborhood for different P and R

图2. 不同的P,R值对应的圆形邻域

Figure 3. The 58 different uniform patterns in (8, R) neighborhood

图3. 在(8, R)邻域内的58种不同的一致模式

其中,是旋转函数,表示将向右旋转位。以LBP8,1为例,码值分别为10000000, 01000000,00100000,00010000,00001000,00000100,00000010,00000001的模板在旋转不变局部二进制下对应的模板都是00000001。图4展示了8个模板可以看成同一个模板不同方向旋转的结果。

Figure 4. The 8 different patterns are the rotation results of one pattern through different direction

图4. 8个模板可以看成同一个模板不同方向旋转的结果

2.4. 旋转不变一致LBP描述子

为进一步加强LBP的旋转不变性和辨别力,提高计算速度,于是Ojala等 [1] [3] 人将旋转不变LBP与统一模式结合,得到了旋转不变一致LBP,公式表示如下:

其中,

表示0到1或者1到0的转变次数。的上标riu2表示该方法使用了旋转不变一致模式。大量的旋转不变和光照不变的纹理实验表明,旋转不变一致LBP具有良好的低维性和不变性,可以很好的应用于图像分类。

3. LBP的理论扩展方法

自Ojala提出基本的LBP描述子(LBPP,R、LBPu2P,R、LBPriP,R和LBPriu2P,R的统称)以来,LBP便在纹理分析和人脸识别领域引发了研究热潮。相比于其他局部特征描述子(如SIFT [22] 、RIFF [23] 、LQP [24] 、WLD [25] 等),LBP具有理论简单,容易计算,特征提取无需训练的优势 [5] [26] - [29] 。然而在具体应用中,基本的LBP方法仍然在尺度大小,图像噪声,特征维数等方面存在一定的局限性 [5] [26] - [29] 。面对以上问题,研究者们对LBP方法进行了不同方向的理论扩展,提出了更具辨别力的LBP特征。

LBP的理论扩展方法有很多,但归纳起来主要分为以下几种扩展方式:1) 基于阈值的扩展方法,减小了基本LBP对噪声和周围邻域像素值微小波动的敏感性。2) 基于尺度大小的扩展方法,尺度大小不必局限于3 × 3,可根据实际需求进行调整。3) 基于预处理的扩展方法,可以得到不同尺度的纹理信息,也可以运用低通滤波先去噪,再提取更具表达力的特征。4) 基于多特征融合的扩展方法,将多种特征融合是目前发展的一个潮流方向,可以考虑与颜色、轮廓等特征融合,更全面提取图像特征。当然,针对不同的场景图像,还存在一些其他的理论扩展方法。以下将举例描述每种扩展方法。

3.1. 基于阈值的扩展方法

3.1.1. 多灰度级的局部二值模式(MGLLBP)

为提高局部二值模式对噪声干扰的鲁棒性,Ojala等 [3] 提出多灰度级的局部二值模式(Multi-Gray Level LBP, MGLLBP)。其计算公式可以描述为:

其中,

这里灰度级t可自由选取。一旦t确定了,对应的LBP值也就确定了。由公式可以看出,若t值较大,则LBP倾向于描述图像纹理变化剧烈的特征;反之,若t值较小,则LBP倾向于描述图像的细节纹理信息;若t取为0,则MGLLBP描述的就是原始LBP。其应用过程见图5

3.1.2. 改变阈值的LBP

该方法将邻域点的均值作为阈值,改变了原始LBP用中心像素点作为阈值的思想 [10] [30] ,有效地抑制了噪声对LBP的影响。其计算公式如下:

其中,

3.1.3. 局部三进制模式(LTP)

局部三进制模式 [31] (Local Ternary Pattern, LTP)是LBP的衍变。选取合适的阈值T,将邻域像素点与中心像素点的灰度差值变成3种状态。LTP的计算公式为:

其中,

该方法能有效抵制噪声的影响,对纹理具有较高的辨别力。若周围邻域像素点有P个,则会产生种模式,其特征维数将随着邻域像素点个数巨增。为减小计算量,于是研究者将LTP编码分为’upper’ code(ULBP)和’Lower’ code(LLBP)两个分量来简化计算复杂度。

ULBP的计算公式如下:

LLBP的计算公式如下:

LTP分解过程见图6

3.2. 基于尺度大小的扩展方法

3.2.1. 多尺度分块LBP

LBP方法可以比较精确地描述图像的局部纹理信息,但其缺乏对图像整体信息的度量,易受噪声干扰。于是,Liao等 [32] 在2007年提出多尺度分块LBP来弥补这一不足。

(a) 原始图像的一个8邻域局部区域计算出的LBP码
(b) (a)中局部区域加噪后计算出的LBP码
(c) (a)中局部区域加噪后计算出的多灰度级的局部二值模式MGLLBP码

Figure 5.The robustness of MGLLBP against noise

图5. 多灰度级局部二值模式对噪声的鲁棒性

Figure 6. The decomposing process of LTP into ULBP and LLBP

图6. 将LTP分解成ULBP和LLBP的过程

多尺度分块LBP (Multi-scale Block LBP, MB-LBP)是LBP根据不同大小的邻域的一个扩展。在MB-LBP中,将LBP中的像素点之间的比较变成子区域的平均灰度值的比较。每个子区域是一个包含邻域像素的正方形块。这里,MB-LBP的算子的尺度大小以9 × 9为例,特别地,当尺度大小为3 × 3时,MB-LBP就是原始LBP。MB-LBP计算方法可以描述为:先在每个3 × 3的子区域中计算出邻域的平均灰度值,再对由平均灰度值组成的新的3 × 3块应用LBP的计算方法,将得到MB-LBP。基本LBP描述子和MB-LBP描述子的对比见图7

3.2.2. 拉伸的局部二值模式(ELBP)

拉伸的局部二值模式 [33] (Elongated LBP, ELBP)是原始LBP领域结构的直接变形,它将原始LBP的圆形邻域结构扩展为一个椭圆的局部结构,弥补了圆形领域旋转不变而丢失的信息。ELBP的邻域拓扑结构见图8

(a) 原始LBP描述子 (b) 9 × 9的MB-LBP描述子

Figure 7. Basic LBP descriptors and MB-LBP descriptors with 9 × 9 neighbourhood

图7. 基本LBP描述子和9 × 9的MB-LBP描述子

Figure 8. The neighborhood topology of ELBP

图8. ELBP的邻域拓扑结构

3.3. 基于预处理的扩展方法

3.3.1. 局部Gabor二进制模式

Zhang等 [34] 人提出了局部Gabor二进制模式(Local Gabor Binary Pattern, LGBP),该方法结合了Gabor滤波器和LBP两者的优点,弥补了LBP不能提取的尺度信息的特征,使得提取到的特征更具表达力和辨别力。其思想为:

先用Gabor滤波器G与灰度图像I(x,y)进行卷积,得到多尺度、多方向空间频率特征:

经过Gabor变换将得到分解的幅值和相位谱,而该方法选取幅值作为特征描述。然后再对卷积后得到幅值提取LBP纹理特征,就得到GLBP。

其中,

图9为窗口大小是5 × 5的Gabor滤波器。

3.3.2. 局部Haar二进制模式

Harr小波变换 [35] 是Alfred Haar在1909年提出的,是小波变换(Wavelet transform)中最简单的一种变换,是Daubechies小波变换的N = 2的特例。

Figure 9. Gabor filter with the window size of 5 × 5

图9. 窗口大小是5 × 5的Gabor滤波器

Harr小波变换具有算法简单、计算效率高的优点,可将一幅灰度图像分解成低通低通(LL)、高通低通(HL)、低通高通(LH)和高通高通(HH)四部分。Haar-LBP的思想是对得到的LL,LH,HL和HH图像分别提取LBP特征,然后将提取到的特征结合在一起,得到更多的纹理信息,以更丰富的表达图像。其中,LL包含了图像的大部分特征,是特征提取的主要特征,HL、LH和HH有明显的纹理特征和轮廓特征,可以作为图像特征提取的补充特征。图10为Harr小波变换示意图。

3.4. 基于多特征融合的扩展方法

3.4.1. 三维局部二值模式(3D-LBP)

三维局部二值模式 [36] (Three Dimension LBP, 3D-LBP)作为一种新的描述子,编码了图像的颜色信息和纹理信息,可以产生3张彩色图像,提取彩色的纹理特征。彩色图像一般由R,G,B三个颜色通道组成,3D-LBP方法则是通过采用三种正交的LBP编码方案产生了3张新的彩色图像。图11展示了3D-LBP的特征提取过程。

选取邻域,3D-LBP的第一种编码方案,如图11中间列第一张图片所示,首先将彩色图像分成R、G、B三个颜色分量,分别对其计算LBP值,再将运算后的三个分量合成一张新的彩色图像,如图11中第三列的第一张彩色图像所示。第二种编码方案,如图11中间列第二张图片所示,横跨R、G、B的行信息并相应的提取LBP特征,再将提取的LBP特征合成,得到图11最后一列第二张所示的彩色图像。第三种编码方案与第二种编码方案类似,横跨R、G、B的列信息并相应的提取LBP特征,然后合并提取的特征得到图11第三列第三张所示的彩色图像。通常,一张彩色图像由R、G、B三个颜色通道组成,但在运算3D-LBP时却丢弃了一部分信息,故将平面扩充为B、R、G、B、R五平面即可解决上述问题。3D-LBP与原始的LBP相比,不仅加入了彩色信息,还加强了图像垂直和水平方向的局部特征,使得得到的特征更具表达力。

3.4.2. 三维局部二值模式–Haar方向梯度直方图(3DLH)

三维局部二值模式Haar方向梯度直方图(3-Dimensional LBP-HarrHOG, 3DLH)是Sugata等 [37] 人在2012年提出的一种新的图像分类的描述子。它是将3D-LBP描述子和HaarHOG描述子进行特征融合。图12展示了HOG描述子提取的过程。图13展示了HaarHOG描述子提取的过程。

此外,本文对RGB颜色空间进行变换,得到HSV、YCbCr、oRGB、I1I2I3,UCS和DCS颜色空间上的3D-LBP和HaarHOG,通过PCA降维的方法将两种描述子具有代表力的部分结合,得到不同颜色空间上的3DLH,同时,将各个颜色空间上的3DLH特征融合,得到FC-3DLH,然后在MIT自然图像库、UIUC运动图像库和Caltech256图像库进行了验证,得到融合特征FC-3DLH的图像分类结果最好,分别达到64%,84.9%和90.4%。实验说明,融合颜色空间特征比单一颜色空间特征更具辨别力。

3.4.3. Gabor–局部二值模式–金字塔方向梯度直方图(Gabor-LBP-PHOG, GLP)

Atreyee等 [38] 人于2012年对图像分类提出了一种颜色描述子Gabor LBP PHOG (GLP),它是由Gabor-LBP (GLBP)和Gabor-PHOG (GPHOG)两个描述子组成。随之,比较了GLP在HSV、YIQ、YCbCr、oRGB、DCS、RGB六个颜色空间上的图像分类精度。将各个颜色空间特征进行融合,通过PCA降维得

Figure 10. The sketch map of Harr wavelet transform

图10. Harr小波变换示意图

Figure 11. Feature extraction process of 3D-LBP

图11. 3D-LBP的特征提取过程

Figure 12. The extraction process of HOG descriptor

图12. HOG描述子提取的过程

Figure 13. The extraction process of HaarHOG descriptor

图13. HaarHOG描述子提取的过程

到最具代表力的融合特征,在Caltech256图像库、MIT自然图像库、UIUC运动图像库上进行验证,得到融合特征FC-GLP的图像分类精度最高,分别为35.3%,84.3%和91.3%。实验结果说明,融合颜色空间特征比单一颜色空间特征包含更多的图像信息,其分类精度较高。GLBP和GPHOG描述子的提取过程见图14

4. 具体应用中的LBP扩展方法

针对不同的场景图像和特征识别要求,许多学者在具体应用领域中对LBP进行了扩展,尤其在纹理分析和人脸识别领域中应用较广泛。下面将从纹理分析领域中的LBP扩展方法、人脸识别领域中的LBP扩展方法和其他应用领域中的LBP扩展方法等三大类的具体应用中详细介绍LBP的扩展方法。

4.1. 纹理分析领域中的LBP扩展方法

目前,LBP已经发展成为一类不可替代的纹理特征提取方法,在纹理分析与分类、动态纹理识别和计算机视觉领域中占据了非常重要的地位,有着广阔的发展前景。以下将对近年来在纹理分析领域中几种比较有影响力的LBP扩展方法进行介绍和分析。

4.1.1. 中值二值模式(MBP)

中值二值模式(Median binary pattern, MBP)是Hafiane等 [28] 人在2007年提出的一种纹理分类方法。与原始LBP方法类似,不同之处在于该方法将邻域像素点的中间值作为阈值。MBP对旋转具有不变性。其计算方法如下:

其中,P为周围邻域像素点的个数,gi表示周围邻域像素点的灰度值。

4.1.2. 中心对称局部二值模式(CS-LBP)

中心对称局部二值模式(Center-Symmetric, CS-LBP)是由Heikkila等 [39] 人在2009年提出的一种LBP扩展方法。CS-LBP的目的是对LBP较小的数产生适应于区域描述符的直方图,同时对平坦区域具有稳健性。CS-LBP的计算方法如下:

其中,代表是中心对称位置。LBP和CS-LBP的特征计算方法见图15所示。

4.1.3. 完整的局部二值模式(CLBP)

为了加强利用LBP方法所丢失的信息,Guo等人提出了完整的局部二值模式 [5] (Completed LBP, CLBP)。该方法从局部差异符号与大小转换(Local difference sign-magnitude transform, LDSMT)的角度分析了LBP算法,并给出三种不同的描述子:中心描述子(CLBP-Center, CLBP-C)、符号描述子(CLBP-Sign, CLBP-S)和大小描述子(CLBP-Magnitude, CLBP-M)。CLBP的架构如图16所示。

CLBP_S和原始的LBP编码是相似的,只是将编码二值化的值“0”变成了“−1”,其描述子的表示为:

Figure 14. The extraction process of GLBP and GPHOG descriptor

图14. GLBP和GPHOG描述子提取的过程

Figure 15. Feature calculation process of LBP and CS-LBP

图15. LBP和CS-LBP的特征计算过程

Figure 16. The framework of CLBP

图16. CLBP架构

其中

CLBP_M和CLBP_C描述子可以表示为:

,其中,阈值是一般设定为局部图像的均值。,式中,这里的阈值一般设定为整幅图像的均值。

CLBP描述子通过实验验证了CLBP_M信息的重要性,且符号部分CLBP_S比数值大小部分CLBP_M更重要,进一步验证了将三种描述符进行融合得到的特征更具辨别力,融合特征的实验效果最好。

4.1.4. 局部二值模式的方差表示(LBP Variance, LBPV)

VAR是对LBP特征的补充,在使用VAR时需要进行量化处理。为了消除由于量化而对实验结果的影响,Guo等 [40] 人在2010年提出了局部二值模式的方差表示(LBP variance, LBPV)。由于VAR是对区域变化的表示,所以VAR值越大,其区分贡献就大,因而权重越大。该方法将每个点的方差作为编码值的权重进行直方图的累加。其计算公式如下:

其中,

LBPV方法凭借其不需要量化、不需要训练的优势在纹理分类中取得了较好的分类效果,但是需进一步加强该方法对噪声的鲁棒性。

4.1.5. 贝叶斯局部二值模式(Bayesian LBP, BLBP)

图像信息的随机性导致了图像对光照和噪声比较敏感。于是,为考虑到图像的随机性,He等 [41] 人提出了贝叶斯局部二值模式(Bayesian LBP, BLBP)。该方法在标签空间加入马尔可夫随机场(Markov random field, MRF),建立了标签获取的随机过程模型。然后,在最大后验概率准则(Maximum a posteriori, MAP)下将标签过程作为联合优化处理。最后,用标签的概率密度的直方图估计作为描述子。BLBP的标签处理过程见图17

4.1.6. 尺度不变局部三值模式(Scale Invariant Local Ternary Pattern, SILTP)

为解决在复杂背景下灰度强度变化的问题,Liao等 [42] 人于2010年提出了尺度不变局部三值模式(Scale Invariant Local Ternary Pattern, SILTP)。SILTP的编码方法如下:

其中,Ic是中心像素点的灰度值,Ik是半径为R的圆形邻域的像素点的灰度值,代表二值串的连接操作,是制定范围的灰度因子,是一个分段函数,定义如下:

Figure 17. The labeling processing of BLBP

图17. BLBP的标签处理过程

SILTP方法的优势源于有三个阈值。首先,相比于LBP方法,SILTP方法计算效率更高。其次,由于LTP对某一范围有容错性,所以该方法对某一范围内的局部图像噪声具有鲁棒性。最后,尺度不变特性使得SILTP方法对光照变化具有不变性。

4.1.7. 其他LBP扩展方法在纹理分析与识别上的应用

Liao等 [29] 人在2009年提出了显性局部二值模式(Dominant LBP, DLBP),该方法用二值模式中出现频率较高的模式来描述纹理信息,对图像旋转以及有噪声的图像具有良好的适应性和鲁棒性。

为了完整地表示图像的空间结构,Guo等 [43] 人在2010年提出了自适应局部二值模式(Adaptive LBP, ALBP)的纹理分析方法。该方法提出了三种不同的方向统计特征:局部方向差异的平均值、标准差和最小化局部差异的自适应系数,在纹理数据库分类的试验中得到了较好分类效果 [44] ,但是噪声的鲁棒性有待进一步加强。

由于LBP方法的统一模式忽略了非统一模式中许多重要的纹理信息,于是,充分利用了LBP方法中的非一致模式的信息,Zhou等 [14] 人提出了扩展的局部二值模式(Extended LBP, ELBP),将非统一模式分为表示结构信息和表示发生概率信息的两个不同子集。ELBP方法对噪声有较好的鲁棒性,在纹理数据库中取得了较好的分类效果。随后,Liu等 [45] 人也提出的扩展的局部二值模式(Extended local binary patterns)的纹理分类方法,该方法基于灰度和差异分别提出了CI (Centralpixel)、NI (Neighbors pixel)、RD (Radial-difference)、AD (Angular difference)四个描述子。Khellah等 [46] 人提出的凸显邻域结构(Dominant neighborhood structure, DNS)的纹理分类方法也很好的利用了LBP中非一致模式的信息。

Guo等 [6] 提出了Fisher判别学习的局部二值模式(FSC-based learning LBP, FBL-LBP)。该方法先提出基于Fisher判别的学习框架,然后将其与LBP结合构成了用来提取凸显模式分类特征的FBL-LBP描述子。此外,Zhang等 [47] 提出的局部能量模式(Local energy pattern, LEP)的纹理分类方法,以及Zhao等 [48] 提出的旋转不变性的LBP描述子在处理动态纹理试验中获得了不错的实验结果。

Qi等 [49] 人在2015年提出了多尺度共现局部二值模式(Multi-scale Co-occurrence Local Binary Pattern, MCLBP)的纹理分类方法。该方法可以有效捕捉不同尺度之间的相关关系,提取更多的图像信息。同时,相比于LBP,CLBP和MSJ-LBP等具有局部旋转不变性的方法来说,MCLBP还具有全局旋转不变性。Ryu等 [50] 人提出了一种连续排序的局部二值模式(sorted consecutive local binary pattern, scLBP)的纹理分类的方法。当通过排序连续的模式来维持旋转不变特性时,scLBP方法可以将任意空间转换次数的所有模式进行编码。由于基本的LBP对尺度、旋转、视角变化和非刚性的变形比较敏感,Reza等 [51] 人提出了一种改进的LBP的纹理分析方法。在该方法中,对每个像素点分配一个圆形邻域半径和区域方向。随着LBP的深入研究和广泛应用,LBP正朝着其他领域延伸和发展。

4.2. 人脸识别领域中的LBP扩展方法

随着LBP及其扩展模式的优越性能和广泛应用,研究者们将其应用到人脸识别领域,同样也获得了出色的效果。以下将对近年来在人脸识别领域中应用较广泛且较有影响力的LBP扩展方法进行介绍和分析。

4.2.1. 改进的局部二值模式(Improved Local Binary Patterns, ILBP)

为加强LBP的局部结构,Jin等 [10] 人提出了改进的局部二值模式(Improved Local Binary Patterns, ILBP)。该方法结合了局部形状和纹理信息,且对光照变化具有鲁棒性。9位十进制数的计算方法如下:

其中,是内核中的平均灰度值。

随后,Qian Tao和Raymond Veldhuis [52] 通过将8邻域赋相等的权重提出对光照标准化的简化的局部二值模式(Simplified Local Binary Pattern, SLBP)。该方法对光照的变化更具鲁棒性,对模式方向的变化不敏感。对邻域来说,编码模式的种类从256大大降低为9。SLBP的计算方法如下:

4.2.2. 局部线性二值模式(Local Line Binary Patterns, LLBP)

Petpon等 [53] 人提出了局部线性二值模式(Local Line Binary Patterns, LLBP)的人脸分析与识别方法。该方法通过设定阈值化的局部窗口和二进制权重概括了图像的局部空间结构,同时将十进制数作为纹理特征描述子,大大降低了计算量。其编码方式如图18所示。

LLBP方法通过水平或垂直方向来获得线性二值码,其梯度表示图像强度的变化,如边缘、角等。LLBP描述子在人脸图像中的应用例子见图19

4.2.3. 中心二值模式(Centralized Binary Patterns, CBP)

Fu等 [54] 人于2008年提出中心二值模式(Centralized Binary Patterns, CBP),该方法具有以下优势:1)通过成对的对比邻域值降低了直方图的维数,2) 考虑了中心像素点的影响,分配给中心像素点较大的权重,提高了对图像的辨别力,3) 通过修正LBP中的符号函数降低了白噪声对人脸图像的影响。其计算方法如下:

其中,是阈值常数。计算原理见图20

为了提高表情图像对微小波动的鲁棒性,Wang等 [55] 人将图像的欧氏距离(image Euclidean distance, IMED)嵌入到CBP中,实验该方法证明可以提高人脸表情识别的效果。

4.2.4. 局部量化模式(Local Quantized Patterns, LQP)

Hussain等 [24] 人在2012年提出局部量化模式(Local Quantized Patterns, LQP)。该方法同时对多个尺度上的邻域系统计算二进制模式,然后对产生的所有二进制模式进行K均值聚类,将获得的聚类中心作为主导二进制模式,进一步对图像编码。其特征计算过程见图21

4.2.5. 三斑块局部二值模式(Three-Patch LBP, TP-LBP)

Wolf等 [56] 人提出了三斑块局部二值模式(Three-Patch LBP, TPLBP)的人脸识别和分析的方法。该方法通过比较三个斑块的值来产生一个值,然后将该值赋给编码值。对于图像的每个像素点,假设在中间选取一个的斑块,在半径为上均匀分布个斑块,以角度每经过选取一对斑块,然后将它们与中心斑块的值进行比较。

TP-LBP计算方法如下:

其中,是中间的斑块,是圆形邻域上的两个斑块,是两个斑块之间的任意的距离函数。其编码方式如图22所示。

Figure 18. Computation process of LLBP operator with line length 9 pixels,8 bits considered

图18. 长度为9个像素点,8位的LLBP计算过程

(a) (b) (c) (d)

Figure 19. Application example of face image processed by LLBP operator with line length 9 pixels: (a) is original image; (b) and (c) are LLBP along with horizontal and vertical direction; and (d) is its magnitude

图19. 长度为9个像素点的LLBP描述子在人脸图像中的应用例子:(a)原始图像;(b)和(c)分别是沿着水平和垂直方向的LLBP;(d)梯度图

Figure 20. The calculating principle of CBP(8, 1)

图20. CBP(8, 1)计算原理

Figure 21. Feature computation process of LQP ()

图21. LQP的特征计算过程()

(a)(b)

Figure 22. The coding modes of TP-LBP (a) with (b) with

图22. TP-LBP的编码方式(a) 参数(b) 参数

4.2.6. 四斑块局部二值模式(Four-Patch LBP, FP-LBP)

为了产生四斑块局部二值模式 [56] (Four-Patch LBP, FP-LBP),对于图像的每个像素点,选取半径分别为的两个圆环,每个圆环上均匀分布个斑块,斑块大小选取。在内外环上分别比较了两个中心对称的斑块,以角度每经过选取一对斑块。FP-LB计算方法如下:

其编码方式如图23所示。

将TP-LBP和FP-LBP两种方法分别应用到一张人脸图像上,其效果图见图24

4.2.7. 其他LBP扩展方法在人脸识别与检测上的应用

Maturana等 [57] 人提出了基于决策树的局部二值模式(Decision tree-based local binary patterns, DT-LBP)。假设该方法的决策树有M层,将每一层中心像素点的值与周围领域像素点的值作比较,如果中心像素点值大于邻域像素点值,走左边的路线,反之,走右边的路线,直到遍历完最后一层,将正确路线上的节点用1表示,错误路线上的节点用0表示。这就是DT-LBP。该方法大大降低了计算数据的维度。

(a)(b)

Figure 23. The coding modes of FP-LBP (a) with (b) with

图23. FP-LBP的编码方式(a) 参数(b) 参数

(a) (b) (c)

Figure 24. Examples of TP-LBP and FP-LBP with facial image

图24. TP-LBP和FP-LBP在人脸图像上的例子

Chan等 [58] 人提出了基于多波段局部二值模式(Multispectral local binary pattern)的线性判别分析(Linear discriminant analysis, LDA)的人脸识别方法。该方法先将彩色的人脸图像归一化,并将其分成几个不重叠的区域,分别提取LBP直方图,然后连接起来作为图像的特征输入LDA空间得到最终的人脸描述符。Chan等 [59] 等人提出了多尺度的局部二值模式(Multi-scale local binary pattern)。

Lahdenoja等 [60] 通过将统一模式中有相同对称特征的模式归到一类,降低了LBP特征向量的长度。Zhang等 [61] 提出了高阶局部描述符和局部导数模式(Local derivative pattern, LDP)的人脸识别方法。Chao等 [62] 人提出了一种特定表情的局部二值模式(expression-specific local binary pattern, es-LBP)的人脸识别方法。

Yan等 [63] 人提出了局部组合二值(Locally assembled binary, LAB)的Haar特征。该方法中,对Haar变换后的特征进行二值化,然后与LBP特征组合成新的特征,因此对光照变化具有鲁棒性。Radhey等 [64] 人提出了一种扩展的局部二值模式(Augmented Local Binary Pattern, ALBP)的人脸识别方法。该方法有效地将局部的一致模式和非一致模式相结合。先用一致模式的大部分有效值代替非一致模式,然后再和邻域的一致模式结合来提取图像中有价值的信息。

4.3. 其他应用领域中的LBP扩展方法

LBP及其扩展方法不仅在纹理分析领域、人脸识别领域中取得了广泛的应用,获得了显著的效果,而且已被成功应用于人脸表情识别、医学图像处理、图像匹配等领域。

以下将介绍几种常见的其他应用领域中的LBP扩展方法。

Loris等 [31] [65] 人提出了延伸的二值模式(Elongated Binary Pattern, ELBP)、延伸的三值模式(Elongated Ternary Pattern, ELTP)、延伸的五值模式(Elongated Quinary Pattern, EQP)的人脸表情识别和分析的方法,在医学图像处理方面得到了广泛的应用。这些方法通过考虑不同邻域形状和局部灰度尺度差异的编码方式来获得,并在新生婴儿人脸图像库中取得了较好的面部表情的识别和分析效果。

Trefny等 [66] 人提出了转换局部二值模式(Transition LBP, tLBP)和方向局部二值模式(Direction LBP, dLBP)两个描述子,并成功将其应用到汽车检测领域中。在UIUC的汽车数据库的检测中取得了较高的检测精度。

Mu等 [67] 人将LBP扩展模式应用到行人检测中,提出了语义局部二值模式(Semantic-LBP, S-LBP)和傅里叶局部二值模式(Fourier-LBP, F-LBP)两个描述子,并在INRIA行人数据库 [68] 上进行大量实验,取得了不错的实验效果。其中,S-LBP描述子解决了LBP特征向量计算存储空间大和二值编码无法表示语义特征的问题,而F-LBP描述子将滤波引入到LBP中,解决了不同局部阈值带来的误差,使数据压缩可控。

此外,Zhao等 [69] 人提出了体积局部二值模式(Volume LBP, VLBP)和局部二值模式的三维正交平面(LBP three orthogonal planes, LBP-TOP)两个描子,并将其成功的应用到人脸表情识别领域。Kellokumpu等 [70] - [72] 人将LBP扩展模式应用到手势识别和步态识别的领域中,并取得了较高的识别率。Costa等 [73] 人将LBP扩展模式应用到音乐类型的分类识别。

5. 分析与总结

目前,LBP已经发展成为具有自身特点的一类不可替代的纹理特征提取方法,在纹理分类与分割、人脸识别与检测、医学图像处理等计算机视觉领域中占据了非常重要的地位,有着广阔的发展前景。由于LBP模式的灵活性,它可以被调整,改进或扩展成适用于不同领域的特征模式。

低维性是设计LBP模式和扩展模式的一个重要指标,即要求提取出来特征的bin的个数较小,具有很好的计算效率。表1展示了基本LBP及LTP描述子在不同尺度下bin数的比较,可以明显看出LBP及其改进模式的优势。

计算复杂度也是衡量LBP及其扩展模式好坏的一个标准。提取特征时,应尽量保证计算简单,易于工程实现,这样具有较高的实用性。如果将计算复杂度分为低、中、高和很高4种,表2给出了基本LBP及部分局部描述符计算复杂度的分类。

辨别性和不变性同样也是衡量理想特征描述子的两个条件。辨别性较强的描述子能很好的辨别不同的局部区域,对不同外观的区域具有较强的区分性。不变性主要包括几何变化不变性和光照变化不变性,解决了同一场景在不同光照和几何变换下的问题。表3给出了基本LBP和部分局部描述符的不变性和辨别性的分类。

在处理多分辨率LBP问题时,Raja等 [74] 提出了多尺度选择的局部二值特征(Multiscale selected local binary features, MSLBF)。该方法必须在获得和所有类别同样大小的特征下才能得到稳定的实验结果。在研究LBP多尺度问题时,He等 [75] 提出了多元结构的局部二值模式(Multi-structure LBP, MSLBP)。该方法在图像金字塔中提取了各向同性的微小结构、各向同性的较大结构和各向异性的较大结构。

为增强图像旋转以及噪声的鲁棒性,Fathi等 [76] 提出了噪声容忍的局部二值模式(Noise tolerant local binary pattern, NTLBP)的纹理分析方法来处理LBP对噪声敏感的问题。Ahonen等 [77] 将软直方图(Soft histograms)引入LBP的纹理分析方法中,提高LBP对图像干扰变化的稳定性。此外,Iakovidis等 [78] 也通过利用模糊逻辑与LBP的结合提出了模糊局部二值模式(Fuzzy LBP, FLBP),并在超声图像试验中获得了不错的分类效果。表4指出部分其他扩展方法的扩展方向和应用领域,以及该方法所要达到的处理效果。

Table 1. Comparing the number of bins of basic LBP and LTP operators

表1. 基本LBP及LTP描述子在不同尺度下bin数的比较

Table 2. Computation complexity classification of basic LBP and several local image descriptors

表2. 基本LBP及部分局部描述符的计算复杂度分类

Table 3. Invariance and distinctiveness classification of basic LBP and local image descriptors

表3. 基本LBP及部分局部描述符的不变性和辨别性分类

Table 4. The application areas and effect of several extension methods

表4. 部分扩展方法的应用领域和所达效果

Table 5. The list of LBP improved methods and its application area

表5. LBP扩展方法列表及其应用领域

当然,为提高LBP的辨别力和对噪声的鲁棒性,许多LBP扩展模式已被提出,并已经尝试应用到具体图片库中,但是其分类和识别效果并不是很明显,故仍需继续探索和研究。LBP不同的扩展模式将会提取不同的特征,被应用到不同的领域。表5给出了LBP扩展方法和其应用领域的汇总表。

6. 研究展望

本文综述了基本LBP及其扩展模式,通过与其他局部描述子比较不变性、计算复杂度、辨别力和特征向量维数,充分说明了LBP描述子理论简单,计算复杂度低,特征向量低维,易于实际应用的优势。此外,本文总结了相应LBP扩展模式的具体应用领域,便于研究者快速查找对应扩展模式的应用范围。目前,LBP已经取得了很多的研究成果,并在纹理分类和人脸识别领域得到了广泛而深入的研究,同时也是医学图像分析、指纹识别、动态目标检测、模式识别等计算机视觉领域关注的热点。面对实际工程中日益复杂的自然图像,仍然需要在理论和算法方面不断创新,以更好地表达图像,进一步推进LBP方法的广泛应用。LBP扩展模式进一步研究和发展方向有:

1) 继续增强LBP方法对光照变化和噪声干扰的鲁棒性。不管在纹理分析,还是人脸识别的应用中,LBP对光照变化和噪声干扰尤为敏感。一般来讲改变阈值可以增强LBP对光照和噪声的鲁棒性,但是否可以通过其他方法进一步改善LBP对光照变化和噪声干扰的鲁棒性有待进一步研究。

2) 挖掘计算快速有效的、且与基本LBP方法具有互补性的局部描述子,以增强表达力和计算效率。若将计算复杂度高的特征描述子与LBP相结合,不仅会降低计算效率,而且还会掩盖LBP的优点。故寻找与基本LBP互补的有效特征是深入研究的一个方向。

3) 探索适用于多种类型图像库的LBP方法。目前已经存在许多适用于不同类型图像的LBP特征提取方法,但是还没有任何一种基于LBP的扩展方法适用于所有类型的图像,它们对图像库有一定的依赖性。因此,要对各种LBP扩展方法深入研究,并进行适当的结合,发展适用于多种类型的图像库,如一般场景图像、遥感图像等。

4) 彩色图像上的LBP方法扩展。以前研究工作的图像数据大多数集中在灰度图像上,近年来随着图像采集设备技术的提升,彩色图像越来越成为主流,且彩色图像对于特征的表达更加丰富,不同通道有不同的贡献,3D-LBP逐渐受到研究者的关注。此外,也可以考虑将其他颜色特征与基本LBP结合,提取更具辨别力和表达力的特征。因此,LBP方法在彩色图像数据上的扩展有待深入研究。

5) 融合其他特征扩大LBP应用领域。LBP方法应用最成功的两个领域是纹理分类和人脸识别,虽然也涉猎其他一些领域,但是仍需进一步研究与完善。目前,已有研究者开始对多特征融合进行研究,特征间相互取长补短,以适用于不同类型图片库和不同领域。多种特征融合方法已经成为特征提取问题研究的重点,还需要不断地研究和完善。因此,要想在更广泛的领域应用LBP方法,进一步深入研究LBP和其他特征的融合问题很有必要。

基金项目

国家自然科学基金(11101012);北京市优秀人才培养资助青年骨干个人项目(2015000020124G032).

文章引用

张慧娜,李裕梅. 局部二值模式方法综述及研究展望
An Overview and Research Perspective of Local Binary Pattern[J]. 图像与信号处理, 2016, 05(03): 121-146. http://dx.doi.org/10.12677/JISP.2016.53016

参考文献 (References)

  1. 1. Ojala, T., Pietikinen, M. and Harwood, D. (1996) A Comparative Study of Texture Measures with Classification Based on Feature Distributions. Pattern Recognition, 29, 51-59. http://dx.doi.org/10.1016/0031-3203(95)00067-4

  2. 2. Pietikinen, M., Ojala, T., Nisula, J. and Heikkinen, J. (1994) Experiments with Two Industrial Problems Using Texture Classification Based on Feature Distributions. Proceedings of Intelligent Robots and Computer Vision XIII: 3D Vision, Product Inspection, and Active Vision, 2354, 197-204. http://dx.doi.org/10.1117/12.189087

  3. 3. Ojala, T., Pietikinen, M. and Menp, T. (2002) Multiresolution Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24, 971-998. http://dx.doi.org/10.1109/TPAMI.2002.1017623

  4. 4. Pietikinen, M., Nurmela, T., Menp, T. and Turtinen, M. (2004) View-Based Recognition of Real-World Textures. Pattern Recognition, 37, 313-323. http://dx.doi.org/10.1016/S0031-3203(03)00231-0

  5. 5. Guo, Z., Zhang, L. and Zhang, D. (2010) A Completed Modeling of Local Binary Pattern Operator for Texture Classification. IEEE Transactions on Image Processing, 19, 1657-1663. http://dx.doi.org/10.1109/TIP.2010.2044957

  6. 6. Guo, Y., Zhao, G. and Pietikainen, M. (2010) Descriptor Learning Based on Fisher Separation Criterion for Texture Classification. Proceeding of Asian Conference on Computer Vision, Queenstown, 8-12 November 2010, 1491-1500.

  7. 7. Li Stan, Z. and Jain Anil, K. (2004) Handbook of Face Recognition. Springer-Verlag, Berlin.

  8. 8. Ahonen, T., Hadid, A. and Pietikinen, M. (2006) Face Description with Local Binary Patterns: Application to Face Recogniton. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28, 2037-2041. http://dx.doi.org/10.1109/TPAMI.2006.244

  9. 9. Connah, D. and Finlayson Graham, D. (2006) Using Local Binary Pattern Operators for Colour Constant Image Indexing. Proceeding of European Conference on Color in Graphics, Imaging, and Vision, Leeds, 19-22 June 2006, 60-64.

  10. 10. Jin, H., Liu, Q., Lu, H. and Tong, X. (2004) Face Detection Using Improved LBP under Bayesian Framework. IEEE First Symposium on Multi-Agent Security and Survivability, Hong Kong, 18-20 December 2004, 306-309.

  11. 11. Hadid, A., Pietikinen, M. and Ahonen, T. (2004) A Discriminative Feature Space for Detecting and Recognizing Faces. Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, 2, 797-804. http://dx.doi.org/10.1109/cvpr.2004.1315246

  12. 12. Smith, R.S. and Windeatt, T. (2010) Facial Expression Detection Using Filtered Local Binary Pattern Features with ECOC Classifiers And Plat Scaling. JMLR Workshop on and Conference Proceedings of Applications of Pattern Analysis, 11, 111-118.

  13. 13. Sánchez-Yáñez, R.E., Kurmyshev, E.V. and Cuevas, F.J. (2003) A Framework for Texture Classification Using the Coordinated Clusters Representation. Pattern Recognition Letters, 24, 21-31. http://dx.doi.org/10.1016/S0167-8655(02)00185-X

  14. 14. Zhou, H., Wang, R. and Wang, C. (2008) A Novel Extended Lo-cal-Binary-Pattern Operator for Texture Analysis. Information Sciences, 178, 4314-4325. http://dx.doi.org/10.1016/j.ins.2008.07.015

  15. 15. Maenpaa, T., Ojala, T., Pietikainen, M. and Maricor, S. (2000) Robust Texture Classification by Subsets of Local Binary Patterns. Proceeding of 15th International Conference on Pattern Recognition, 3, 947-950.

  16. 16. Randen, T. and Husoy, J.H. (1999) Filtering for Texture Classification: A Comparative Study. IEEE Transactions on Pattern Analysis and Machine Intelligence, 21, 291-310. http://dx.doi.org/10.1109/34.761261

  17. 17. Xie, X. and Mirmehdi, M. (2008) A Galaxy of Texture Features. In: Mirmehdi, M., Xie, X. and Suri. J.S., Eds., Handbook of Texture Analysis, Imperial College Press, London, 375-406. http://dx.doi.org/10.1142/9781848161160_0013

  18. 18. 刘丽, 谢毓湘, 魏迎梅, 老松杨. 局部二进制模式方法综述. 中国图象图形学报, 2014, 19(12): 1696-1720.

  19. 19. 宋克臣, 颜云辉, 陈文辉, 张旭. 局部二值模式方法研究与展望. 自动化学报, 2013, 39(6): 730-744.

  20. 20. Pietikainen, M., Ojala, T. and Xu, Z. (2000) Rotation Invariant Texture Classification Using Feature Distributions. Pattern Recognition, 33, 43-52. http://dx.doi.org/10.1016/S0031-3203(99)00032-1

  21. 21. Pietikainen, M. and Ojala, T. (1996) Image Technology-Advances in Image Processing, Multimedia and Machine Vision. Springer, Berlin.

  22. 22. Lowe, D.G. (2004) Distinctive Image Features from Scale Invariant Key Points. International Journal of Computer Vision, 60, 91-110. http://dx.doi.org/10.1023/B:VISI.0000029664.99615.94

  23. 23. Takacs, G., Chandrasekhar, V., Tsai, S. Chen, D., Grzeszczuk, R. and Girod, B. (2010) Unified Real-Time Tracking and Recognition with Rotation Invariant Fast Features. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, 13-18 June 2010, 934-941. http://dx.doi.org/10.1109/cvpr.2010.5540116

  24. 24. Hussain, S., Napoleon, T. and Jurie, F. (2012) Face Recognition Using Local Quantized Patterns. British Machine Vision Conference, Guildford, 99.1-99.11. http://dx.doi.org/10.5244/c.26.99

  25. 25. Chen. J., Shan, S., He, C., et al. (2010) WLD: A Robust Local Image Descriptor. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32, 1705-1720. http://dx.doi.org/10.1109/TPAMI.2009.155

  26. 26. Ojala, T., Pietikainen, M. and Menp, T. (2000) Multiresolution Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns. Proceedings of IEEE European Conference on Computer Vision, Lecture Notes in Computer Science, 1842, 404-420. http://dx.doi.org/10.1007/3-540-45054-8_27

  27. 27. Zhou, L., Zhou, Z. and Hu, D. (2013) Scene Classification Using a Multiresolution Bag-of-Feature Model. Pattern Re- cognition, 46, 424-433. http://dx.doi.org/10.1016/j.patcog.2012.07.017

  28. 28. Hafianel, A., Seetharaman, G. and Zavidovique, B. (2007) Median Binary Pattern for Textures Classification. Proceedings of International Conference on Image Analysis and Recognition, Iciar, Montreal, August 2007, 387-398.

  29. 29. Liao, S., Law, M.W.K. and Chung, A.C.S. (2009) Dominal Local Binary Patterns for Texture Classification. IEEE Transactions on Image Processing, 18, 1107-1118. http://dx.doi.org/10.1109/TIP.2009.2015682

  30. 30. Froba, B. and Ernst, A. (2004) Face Detection with the Modified Census Transform. IEEE International Conference on Face and Gesture Recognition, Korea, 17-19 May 2004, 91-96. http://dx.doi.org/10.1109/afgr.2004.1301514

  31. 31. Nannia, L., Brahnamb, S. and Luminia, A. (2010) A Local Approach Based on a Local Binary Patterns Variant Texture Descriptor for Classifying Pain States. Expert Systems with Applications, 37, 7888-7894. http://dx.doi.org/10.1016/j.eswa.2010.04.048

  32. 32. Liao, S., Zhu, X., Lei, Z., Zhang, L. and Li, S.Z. (2007) Learning Multi-Scale Block Local Binary Patterns for Face Recognition. In: Lee, S.-W. and Li, S.Z., Eds., Advances in Biometrics, Springer, Berlin, 828-837. http://dx.doi.org/10.1007/978-3-540-74549-5_87

  33. 33. Chan, T.F. and Vese Luminita, A. (2001) Active Contours without Edges. IEEE Transactions on Image Processing, 10, 266-277. http://dx.doi.org/10.1109/83.902291

  34. 34. Zhang, W., Shan, S., Gao, W., Chen. X. and Zhang, H. (2005) Local Gabor Binary Pattern Histogram Sequence (LGBPHS): A Novel Non-Statistical Model for Face Representation and Recognition. IEEE Conference on Computer Vision, 1, 786-791.

  35. 35. Kekre, H.B., Thepade Sudeep, D. and Maloo, A. (2010) Query by Image Content Using Color-Texture Features Extracted from Haar Wavelet Pyramid. International Journal of Computer Applications, 52-60. http://dx.doi.org/10.5120/1006-41

  36. 36. Banerji, S., Sinha, A. and Liu, C. (2013) New Image Descriptors Based on Color, Texture, Shape, and Wavelets for Object and Scene Image Classification. Neurocomputing, 11, 173-185. http://dx.doi.org/10.1016/j.neucom.2013.02.014

  37. 37. Sugata, B., Atreyee, S. and Liu, C. (2012) Scene Image Classification: Some Novel Descriptors. 2012 IEEE International Conference on System, Man, Cybernetics, Seoul, 14-17 October 2012, 2294-2299.

  38. 38. Atreyee, S., Sugata, B. and Liu, C. (2012) Novel Color Gabor-LBP-PHOG (GLP) Descriptors for Object and Scene Image Classification. Proceedings of the Eighth Indian Conference on Computer Vision, Graphics and Image Processing, Mubai, 1-8.

  39. 39. Heikkila, M., Pietikainen, M. and Schmid, C. (2009) Description of Interest Regions with Local Binary Patterns. Pattern Recognition, 42, 425-436. http://dx.doi.org/10.1016/j.patcog.2008.08.014

  40. 40. Guo, Z.H., Zhang, L. and Zhang, D. (2010) Rotation Invariance Texture Classification Using LBP Variance (LBPV) with Global Matching. Pattern Recognition, 43, 706-719. http://dx.doi.org/10.1016/j.patcog.2009.08.017

  41. 41. He, C., Ahonen, T. and Pietikainen, M. (2008) A Bayesian Local Binary Pattern Texture Descriptor. Proceedings of the 19th International Conference on Pattern Recognition, Tampa, 8-11 December 2008, 1-4.

  42. 42. Liao, S., Zhao, G., Kellokumpu, V., Pietikäinen, M. and Li, S.Z. (2010) Modeling Pixel Process with Scale Invariant Local Patterns for Background Subtraction in Complex Scenes. Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, 13-18 June 2010, 1301-1306. http://dx.doi.org/10.1109/cvpr.2010.5539817

  43. 43. Guo, Z.H., Zhang, L., Zhang, D. and Zhang, S. (2010) Rotation Invariant Texture Classification Using Adaptive LBP with Directional Statistical Features. Processing of the 17th IEEE International Conference on Image Processing, Hong Kong, 26-29 September 2010, 285-288. http://dx.doi.org/10.1109/icip.2010.5652209

  44. 44. Varma, M. and Zisserman, A. (2009) A Statistical Approach to Material Classification Using Image Patch Exemplars. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31, 2032-2047. http://dx.doi.org/10.1109/TPAMI.2008.182

  45. 45. Liu, L., Zhao, L.J., Long, Y.L., Kuang, G. and Fiegut, P. (2012) Extended Local Binary Patterns for Texture Classification. Image and Vision Computing, 30, 86-99. http://dx.doi.org/10.1016/j.imavis.2012.01.001

  46. 46. Khellah, F.M. (2011) Texture Classification Using Dominant Neighborhood Structure. IEEE Transactions on Image Processing, 20, 3270-3279. http://dx.doi.org/10.1109/TIP.2011.2143422

  47. 47. Zhang, J., Liang, J. and Zhao, H. (2013) Local Energy Pattern for Texture Classification Using Self-Adaptive Quantization Thresholds. IEEE Transactions on Image Processing, 22, 31-42. http://dx.doi.org/10.1109/TIP.2012.2214045

  48. 48. Zhao, G., Ahonen, T., Matas, J. and Pietikainen, M. (2012) Rotation-Invariant Image and Video Description with Local Binary Pattern Features. IEEE Transactions on Image Processing, 21, 1465-1477. http://dx.doi.org/10.1109/TIP.2011.2175739

  49. 49. Qi, X., Shen, L., Zhao, G., Li, Q. and Pietikäinen, M. (2015) Globally Rotation Invarinant Multi-Scale Co-Occurrence Local Binary Pattern. Image and Vision Computing, 43, 16-26. http://dx.doi.org/10.1016/j.imavis.2015.07.005

  50. 50. Ryu, J., Hong, S. and Yang, H.S. (2015) Sorted Consecutive Local Binary Pattern for Texture Classification. IEEE Transactions on Image Processing, 7, 2254-2265.

  51. 51. Davarzani, R., Mozaffari, S. and Yaghmaie, K. (2015) Scale- and Rotation-Invariant Texture Description with Improved Local Binary Pattern Features. Signal Processing, 111, 274-293. http://dx.doi.org/10.1016/j.sigpro.2014.11.005

  52. 52. Tao, Q. and Veldhuis, R.N.J. (2007) Illumination Normalization Based on Simplified Local Binary Patterns Foe a Face Verification System. Biometrics Symposium 2007 at the Biometrics Consortium Conference, Baltimore, 11-13 September 2007, 1-6.

  53. 53. Petpon, A. and Srisuk, S. (2010) Face Recognition with Local Line Binary Pattern. Proceedings of the 5th International Conference on Image and Graphics, Xi’an, 20-23 September 2009, 533-539.

  54. 54. Fu, X.F. and Wei, W. (2008) Centralized Binary Patterns Embedded with Image Euclidean Distance for Facial Expression Recognition. Proceedings of the 4th International Conference on Natural Computation, 4, 115-119.

  55. 55. Wang, L. Zhang, Y. and Feng, J. (2005) On the Euclidean Distance of Image. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27, 1334-1339. http://dx.doi.org/10.1109/TPAMI.2005.165

  56. 56. Wolf, L., Hassner, T. and Taigman, Y. (2011) Effective Unconstrained Face Recognition by Combining Multiple Descriptors and Learned Background Statistics. IEEE Transactions on Pattern Analysis and Machine Intelligence, 33, 1978-1990. http://dx.doi.org/10.1109/TPAMI.2010.230

  57. 57. Maturana, D., Soto, A. and Mery, D. (2011) Face Recognition with Decision Tree-Based Local Binary Patterns. Processing of the Asian Conference on Computer Vision, Queenstown, 8-12 November 2010, 618-629. http://dx.doi.org/10.1007/978-3-642-19282-1_49

  58. 58. Chan, C.H., Kittler, J.V. and Messer, K. (2007) Multispectral Local Binary Pattern Histogram for Component-Based Color Face Verification. Proceedings of IEEE Conference on Biometrics, Crystal City, 27-29 September 2007, 1-7. http://dx.doi.org/10.1109/btas.2007.4401951

  59. 59. Chan, C.H., Kittler, J. and Messer, K. (2007) Multi-Scale Local Binary Pattern Histograms for Face Recognition. Proceedings of IEEE Conference on Biometrics, Seoul, 27-29 August 2007, 809-818. http://dx.doi.org/10.1007/978-3-540-74549-5_85

  60. 60. Lahdenoja, O., Laiho, M. and Paasio, A. (2005) Reducing the Feature Vector Length in Local Binary Pattern Based Face Recognition. IEEE International Conference on Image Processing, 2, 914-917. http://dx.doi.org/10.1109/icip.2005.1530205

  61. 61. Zhang, B.C., Gao, Y.S., Zhao, S.Q. and Liu, J. (2010) Local Derivative Pattern versus Local Binary Pattern: Face Recognition with Higher-Order Local Pattern Sedcriptor. IEEE Transactions on Image Processing, 19, 533-544. http://dx.doi.org/10.1109/TIP.2009.2035882

  62. 62. Chao, W., Ding, J. and Liu, J. (2015) Facial Expression Recognition Based on Improved Local Binary Pattern and Class-Regularized Locality Preserving Projection. Signal Processing, 117, 1-10. http://dx.doi.org/10.1016/j.sigpro.2015.04.007

  63. 63. Yan, S.Y., Shan, S.G., Chen, X. and Gao, W. (2008) Locally Assembled Binary (LAB) Feature with Feature-Centric Cascade for Fast and Accurate Face Detection. Proceedings of the IEEE Conference on Computer Vision and Patern Recognition, Anchorage, 23-28 June 2008, 1-7.

  64. 64. Radhey, S. and Singh, Y.N. (2015) Face Recognition Using Augmented Local Binary Pattern and Bray Curtis Dissimilarity Metric. The 2nd International Conference on Signal Processing and Integrated Networks (SPIN), Noida, 19-20 February 2015, 779-784.

  65. 65. Nanni, L., Brahnam, S. and Lumini, A. (2010) Local Binary Patterns Variants as Texture Descriptors for Medical Image Analysis. Artificial Intelligence in Medicine, 49, 117-125. http://dx.doi.org/10.1016/j.artmed.2010.02.006

  66. 66. Trefny, J. and Matas, J. (2010) Extended Set of Local Binary Patterns for Rapid Object Detection. Proceedings of the 15th Computer Vision Winter Workshop (CVWW), Nové Hrady, 3-5 February 2010, 1-7.

  67. 67. Mu, Y.D., Yan, S.C., Liu, Y., Huang, T. and Zhou, B. (2008) Discriminative Local Binary Patterns for Human Detection in Personal Album. Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, 23-28 June 2008, 1-8.

  68. 68. Dalal, N. and Triggs, B. (2005) Histograms of Oriented Gradients for Human Detection. Proceedings of the 2005 IEEE Conference on Computer Vision and Pattern Recognition, 1, 886-893. http://dx.doi.org/10.1109/CVPR.2005.177

  69. 69. Zhao, G.Y. and Pietikainen, M. (2007) Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 29, 915-928. http://dx.doi.org/10.1109/TPAMI.2007.1110

  70. 70. Kellokumpu, V., Zhao, G.Y. and Pietikainen, M. (2008) Texture Based Description of Movements for Activity Analysis. Proceedings of the 2008 International Conference on Computer Vision Theory and Applications, Funchal, 22-25 January 2008, 206-213.

  71. 71. Kellokumpu, V., Zhao, G.Y., Li, S.Z. and Pietikäinen, M. (2009) Dynamic Texture Based Gait Recognition. Proceedings of the 3rd International Conference on Advances in Biometric, Alghero, 2-5 June 2009, 1000-1009. http://dx.doi.org/10.1007/978-3-642-01793-3_101

  72. 72. Kellokumpu, V., Zhao, G.Y. and Pietikainen, M. (2011) Recognition of Human Actions Using Texture Descriptors. Machine Vision and Applications, 22, 767-780. http://dx.doi.org/10.1007/s00138-009-0233-8

  73. 73. Costa, Y.M.G., Oliveira, L.S., Koerich, A.L., Gouyon, F. and Martins, J.G. (2012) Music Genre Classification Using LBP Textural Features. Signal Processing, 92, 2723-2737. http://dx.doi.org/10.1016/j.sigpro.2012.04.023

  74. 74. Yogesh, R. and Gong, S. (2006) Sparse Multiscale Local Binary Patterns. British Machine Vision Conference, British, 799-808.

  75. 75. He, Y. and Gao, C. (2011) Pyramid-Based Multi-Structure Local Binary Pattern for Texture Classification. Proceedings of the 10th Asian Conference on Computer Vision, Queenstown, 8-12 November 2010, 133-144. http://dx.doi.org/10.1007/978-3-642-19318-7_11

  76. 76. Fathi, A. and Naghsh-Nilchi, A.R. (2012) Noise Tolerant Local Binary Pattern Operator for Efficient Texture Analysis. Pattern Recognition Letters, 33, 1093-1100. http://dx.doi.org/10.1016/j.patrec.2012.01.017

  77. 77. Ahonen, T. and Pietikainen, M. (2007) Soft Histograms for Local Binary Patterns. Proceedings of the 2007 Finnish Signal Processing Symposium, Oulu, 30 August 2007, 1-4.

  78. 78. Iakovidis, D.K., Keramidas, E.G. and Maroulis, D. (2008) Fuzzy Local Binary Patterns for Ultrasound Texture Characterization. Proceedings of the 5th International Conference on Image Analysis and Recognition, Póvoa de Varzim, 25-27 June 2008, 750-759. http://dx.doi.org/10.1007/978-3-540-69812-8_74

  79. 79. Yao, C. and Chen, S. (2003) Retrieval of Translated, Rotated and Scaled Color Textures. Pattern Recognit, 36, 913- 929. http://dx.doi.org/10.1016/S0031-3203(02)00124-3

  80. 80. Zhang, L., Zhang, D., Guo, Z. and Zhang, D. (2010) Monogenic-LBP: A New Approach for Rotation Invariant Texture Classification. Proceedings of the 17th International Conference on Image Processing, Hong Kong, 26-29 September 2010, 2677-2680. http://dx.doi.org/10.1109/icip.2010.5651885

  81. 81. Tan, X. and Triggs, B. (2007) Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions. Analysis and Modeling of Faces and Gestures, Lecture Notes in Computer Science, 4778, 168-182. http://dx.doi.org/10.1007/978-3-540-75690-3_13

  82. 82. Li, X., Hu, W., Zhang, Z. and Wang, H. (2010) Heat Kernel Based Local Binary Pattern for Face Representation. IEEE Signal Processing Letters, 17, 308-311. http://dx.doi.org/10.1109/LSP.2009.2036653

  83. 83. Liao, S. and Chung Albert, C.S. (2007) Face Recognition by Using Enlongated Local Binary Patterns with Average Maximum Distance Gradient Magnitude. Computer Vision-ACCV 2007 Lecture Notes in Computer Science, 4844, 672-679. http://dx.doi.org/10.1007/978-3-540-76390-1_66

  84. 84. Maenpaa, T. and Pietikainen, M. (2003) Multi-Scale Binary Patterns for Texture Analysis. Scandinavian Conference on Image Analysis, Lecture Notes in Computer Science, 2749, 885-892. http://dx.doi.org/10.1007/3-540-45103-X_117

  85. 85. Maenpaa, T. and Pietikainen, M. (2010) Classification with Color and Texture: Jointly or Separately? Pattern Recognition, 37, 1629-1640. http://dx.doi.org/10.1016/j.patcog.2003.11.011

  86. 86. Zhu, C., Bichot, C.E. and Chen, L. (2010). Multi-scale Color Local Binary Patterns for Visual Object Classes Recognition. Proceeding of International Conference on Pattern Recognition, Istanbul, 23-26 August 2010, 3065-3068. http://dx.doi.org/10.1109/ICPR.2010.751

  87. 87. Porebski, A., Vandenbroucke, N. and Macaire, L. (2008) Haralick Feature Extraction from LBP Images for Color Texture Classification. Proceeding of Workshop on Image Processing Theory, Tools and Applications, Sousse, 23-26 November 2008, 1-8. http://dx.doi.org/10.1109/ipta.2008.4743780

  88. 88. Tan, X. and Triggs, B. (2007) Fusing Gabor and LBP Feature Sets for Kernel-Based Face Recognition. International Conference on Analysis and Modeling of Faces and Gestures, 4778, 235-249. http://dx.doi.org/10.1007/978-3-540-75690-3_18

  89. 89. Wang, X., Han, T.X. and Yan, S. (2009) An HOG-LBP Human Detector with Partial Occlusion Handling. 2009 IEEE 12th International Conference on Computer Vision, Kyoto, 29 September-2 October 2009, 32-39. http://dx.doi.org/10.1109/ICCV.2009.5459207

*通讯作者。

期刊菜单