Geomatics Science and Technology
Vol.06 No.01(2018), Article ID:23423,7 pages
10.12677/GST.2018.61002

Variable Threshold SIFT Algorithm for UAV Image Matching

Sainan Hua, Xingsheng Deng*

School of Traffic and Transportation Engineering, Changsha University of Science & Technology, Changsha Hunan

Received: Dec. 26th, 2017; accepted: Jan. 9th, 2018; published: Jan. 16th, 2018

ABSTRACT

It is difficult for traditional image processing algorithm to deal with the Unmanned Aerial Vehicles (UAV) image, because the UAV have light weight, poor stability and the captured digital images are overlapped irregularly. Aiming at the problems, this paper adopts the SIFT algorithm with an adaptive threshold and expanded detection range, which has the characteristic of scale invariance, rotation invariance. Two methods are adopted to process two pairs of overlapping images. The comparison is made between the number of image feature points extracted and the matching effect. The experimental results show that the SIFT algorithm with variable threshold and expanded detection range has more advantages than the SIFT algorithm as to process the rotating and unstable UAV images, thus better matching effect is achieved.

Keywords:Photogrammetry, Digital Image Matching, Adaptive Threshold, SIFT Algorithm

可变阈值SIFT算法匹配无人机影像

华赛男,邓兴升*

长沙理工大学交通运输工程学院,湖南 长沙

收稿日期:2017年12月26日;录用日期:2018年1月9日;发布日期:2018年1月16日

摘 要

针对无人机重量轻、稳定性差,所拍摄的数字影像存在重叠度不规则、旋转尺度大,造成影像匹配处理具有一定难度的问题,SIFT匹配算法具有尺度不变性、旋转不变性等特征,本文扩大了检测性范围、采用自适性阈值对算法进行改进。改进前后的算法对两组重叠影像进行试验研究,在影像特征点提取数量、匹配效果之间进行对比分析,实验结果表明,对于旋转不稳定性的无人机数字影像,扩大检测范围并采用自适性阈值的SIFT算法更具有优势,可获得更优的影像匹配效果。

关键词 :摄影测量,数字影像匹配,自适性阈值,SIFT算法

Copyright © 2018 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

无人机具有成本低、机动灵活、操作简单、易维护等特点 [1] ,广泛应用于航空摄影测量中。但是无人机影像存在重叠度、旋转角度变化大、存在较大的畸变等问题,采集到的无人机影像必须通过图像处理才能应用到测绘生产中 [2] 。如何快速有效地处理无人机影像较大畸变,对无人机摄影测量十分重要,而其中影像匹配是解决该问题的关键。影像匹配是通过一定的匹配算法在两幅或多幅影像之间识别同名点的过程。图像匹配作为影像处理中关键的部分,是实现后期影像数据分析的前提和基础。影像匹配分为于基于灰度的影像匹配、基于特征的影像匹配 [3] 。基于灰度信息的影像匹配是根据两幅图像重叠区域的灰度级的相似性程度,来决定匹配点 [4] [5] ,有比值匹配法、块匹配法和网格配准法 [6] [7] ,实现比较简单,但其计算量大、复杂度高、对图像灰度变化敏感、算法精确度不高,一般不会单独使用基于灰度的影像匹配算法。

本文针对无人机影像,对其影像匹配进行研究,采用了可变特征点检测范围的SIFT影像特征匹配算法 [8] [9] [10] [11] [12] ,并基于随机抽样一致性(RANSAC)算法,剔除误匹配点对。RANSAC算法可以在一组包含“外点”的数据集中,通过不断迭代,将数据建立数学模型进行拟合验证,以便去除噪声点,获得稳健参数估计 [13] [14] [15] 。本文对SIFT算法极值点的检测和阈值的选择进行了可变阈值优化试验研究,以特征提取、描述和特征匹配为核心,通过对原始匹配点进行预处理,以提高影像匹配速率,通过误匹配点对的检测以提高配准率。

2. SIFT影像匹配

2.1. SIFT匹配流程

SIFT (Scale Invariant Feature Transform)算法是David G. Lowe在1999年提出并在2004年完善的一种基于尺度缩放、光照变换、图像旋转具有不变性,并且对噪声干扰、视点变化、仿射变化具有一定的抵抗性的局部特征描述算子 [8] [9] [10] 。SIFT算法的图像匹配具有高效性、稳定性和多量性等优点,该算法已经广泛地应用到图像处理的各个领域中。图1是SIFT算法的流程图,其中(图1(a))是检测某一物体图像中特征点的具体流程,(图1(b))是检测两幅图像的特征点并将匹配的具体过程。

2.2. SIFT算法

2.2.1. 尺度空间的生成

尺度空间需要使用高斯模糊来获取,高斯卷积核是实现尺度变换的唯一变换核,并且是唯一的线性核。

二维图像 I ( x , y ) 的尺度空间 L ( x , y , σ ) 是一个变化尺度的高斯函数 G ( x , y , σ ) 和原函数 I ( x , y ) 的卷积:

L ( x , y , σ ) = G ( x , y , σ ) I ( x , y ) (1)

G ( x , y , σ ) = 1 2 π σ 2 e ( x 2 + y 2 ) / 2 σ 2 (2)

式(1)、(2)中, 表示卷积运算, ( x , y ) 代表图像的像素位置, σ 是尺度空间平滑因子,值越小,图像被平滑的越少。

2.2.2. 尺度空间极值点检测和关键点的确定

为更有效的在尺度空间检测到稳定的关键点,需要建立高斯差分尺度空间,将每组相邻的上下两层高斯金字塔图像相减得到高斯差分尺度空间DOG:

D ( x , y , σ ) = ( G ( x , y , k σ ) G ( x , y , σ ) ) I ( x , y ) = L ( x , y , k σ ) L ( x , y , σ ) (3)

关键点是由DOG空间的局部极值点组成的。为了寻找DOG函数的极值点,每一个像素点要和它同尺度的8个周围的相邻点和上下尺度对应的 9 × 2 个点总计26个点进行比较,看其是不是该尺度域内的最大值或者最小值,若是则确定为极值点,反之则不是。

2.2.3. 关键点的确定(定位和方向)

得到了极值点之后需要精确确定关键点的位置和方向,DOG值对噪声和边缘较敏感,通过拟合三维二次函数以精确确定关键点的位置和尺度,同时去除低对比度的关键点和不稳定的边缘响应点,以增强匹配的稳定性、提高抗噪声能力。关键点的主方向由其邻域像素的梯度方向所决定,以关键点为中心的邻域窗口采样,采用直方统计图统计邻域像素的方向,直方图的峰值代表了该关键点处邻域梯度的主方向,即为该关键点的主方向。

尺度空间DOG函数进行三维二次函数的拟合,用泰勒级数进行展开:

(a) (b)

Figure 1. Flow chart of the SIFT algorithm

图1. SIFT算法流程图

D ( X ) = D + D T X X + 1 2 X T 2 D X 2 X (4)

解得极值点: X ^ = D T X ( 2 D X 2 ) 1 ,代入方程得到极值点方程 D ( X ^ ) = D + 1 2 D T X X ^ ,该值有利于去除低对比度的不稳定点,Lowe指出对于 | D ( X ^ ) | < 0.04 的极值点是对比度较低的不稳定极值点,应删除 [8] 。

去除边缘响应点,以增强匹配的稳定性,提高抗噪能力。DOG函数的(欠佳的)峰值点在横跨边缘的方向有较大的主曲率,而在垂直边缘的方向有较小的主曲率,通过计算主曲率剔除边缘点(主曲率通过Hessian矩阵H求出,H的特征值和D的主曲率成正比,可以计算他们之间的比率)。

T r ( H ) 2 D e t ( H ) = ( α + β ) 2 α β = ( r + 1 ) 2 r (5)

其中 H = [ D x x D x y D x y D y y ] α 为H最大特征值, β 为最小的特征值,且 α = r β 。式(5)在两特征值相等时等式达最小,随r的增长而增长。当 T r ( H ) 2 D e t ( H ) < ( r + 1 ) 2 r 时将关键点保留,反之剔除,通常取 r = 10

2.2.4. 关键点的描述与匹配

每个关键点有三个信息:位置、所处尺度、方向。一个关键点由4 × 4共16个种子点组成,每个种子点有8个方向向量信息,产生一个4 × 4 × 8的128个数据,即一个特征点最终形成128维的SIFT特征向量。

最终通过特征向量的“欧式距离比”作为两幅图像中关键点的相似性判定度量。若两点的欧氏距离比小于给定的阈值,判断两点为相似点,构成一组匹配对。

2.3. 误匹配点的剔除

用SIFT算法能得到的匹配结果存在一定的不稳定性和不准确的匹配对,而RANSAC算法寻找最优参数模型,不符合最优模型的点,被定义为“外点”,在图像配准以及拼接上得到广泛的应用,其优点是可靠性强、精度高、稳健性强,对图像噪声和提取不准确的特征点有具有较好的剔除误匹配点的能力。

采用RANSAC算法滤除误匹配对,是通过寻找一个最佳单应性矩阵H(其大小为3 × 3)而实现的,通常令 h 33 = 1 来归一化矩阵,如下式:

s [ x y 1 ] = [ h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 h 33 ] [ x y 1 ] (6)

其中 ( x , y ) 是影像特征点的位置, ( x , y ) 是待匹配影像对应同名点的位置, s 为尺度参数。RANSAC目的是找到最优的参数矩阵使得满足该矩阵的数据点个数最多。由于单应性矩阵有8个未知参数,至少需要8个线性方程求解,对应到点位置信息上,一组点对可以列出两个方程,则至少包含4组匹配点对。

3. 自适应阈值SIFT算法

在SIFT算法中,剔除低对比度极值点的步骤所设定的阈值thresh是固定的,一般取值为0.04,剔除边缘响应点所设定的阈值 r 一般取固定值10。但在图像中,不可能存在情况完全相同的两个像素点,每个像素点的情况都有各自特殊。由于无人机影像旋转角度大,重叠度不规则存在较大的偏差的问题,Lowe所设定的两个阈值并不适用于所有的影像,已经不能很好的反映出最佳的特征点数和匹配点数。

本文认为在极值点的检测范围和阈值的选取上应该是可变的,针对无人机影像,应该扩大特征点的检测范围。实验对极值点不同检测范围进行了分析对比研究,采用与它同尺度的24个周边相邻点和上下尺度对应的 25 × 2 个点总计74个点进行比较,若该点是74点中的最小值或最大值,则认为是特征点。

极值点检测后,通过去除低对比度点和边缘响应点最终得到稳定的抗噪能力强的关键点,阈值的选择很重要,本文采用可变的自适性阈值,自适应阈值的设定是为了使特征点数和匹配点数都达到最佳。通过设定两个阈值的一定范围,以特征点数和匹配点数达到最佳为筛选条件,此时两阈值就是最佳阈值。

thresh best = { 0.01 P i < P max & M i < M max 0.01 < thresh < 0.2 P max & M max 0.2 P i < P max & M i < M max (6)

r best = { 1 P i < P max & M i < M max 1 < r < 50 P max & M max 50 P i < P max & M i < M max (7)

式(6) (7)中P是特征点数,M是匹配点数,阈值thresh范围是0.01到0.2,阈值r的范围是1到50。

4. 实验结果分析

实验影像如图2所示,三张图均为无人机拍摄的高空影像图,分辨率为5616*3744,以(2a-2b)组成第一组实验数据,(2b-2c)组成第二组实验数据。

采用MATLAB实现SIFT算法,对极值点检测实现可变化范围,使检测点与其周围74个点相比较。数字图像用MATLAB的imread函数读入,用rgb2grab函数将图像进行灰度化,设定高斯金字塔第0层的初始尺度定为1.6,图片的初始尺度定为0.5,去除边缘响应点的阈值r = 10,去除低对比度的阈值取0.04,得到结果如(图3(a))所示。不断迭代调试去除边缘响应点的阈值r和去除低对比度的阈值,得到适应各自影像的阈值,得到结果如(图3(b))所示。

(a) (b) (c)

Figure 2. The images for experiment

图2. 实验影像图

(a) SIFT (26 points) (b) SIFT (74 points)

Figure 3. Results of feature point detection

图3. 特征点检测结果

(a) SIFT (Rough matching) (b) SIFT (Fine matching)

Figure 4. Result of image matching points

图4. 影像匹配点对结果

Table 1. Results of SIFT algorithm with different feature point detection range

表1. 不同特征点检测范围的SIFT算法实验结果

SIFT算法提取影像的特征点,将特征点进行粗匹配(图4(a))及去除粗差后精匹配(图4(b))结果如图4所示。

不同阈值情况下,SIFT算法的实验结果如表1所示。

由(图3(a))和(图3(b)),以及表1可知,将极值点的检测范围由26点扩大到74点后,提取到的特征点数有所增加,匹配点对的数量也有所增加。在表1中,每组实验数据的原始阈值均设置为Lowe推荐的10和0.04,经过实验,每组达到最大特征点数和最大匹配对数的最佳阈值都是不同的。通过改变实验阈值,特征点数和匹配对数都有显著的增加。这说明同一阈值设置并不适合所有的影像,不同的影像只有在最佳阈值的情况下才会有最佳的特征点数和匹配对数。扩大极值点检测范围到74点后,并改变关键阈值,剔除不稳定的特征点,影像匹配效果更优。本文增加了极值点的检测范围,计算量有所增加,为了减少计算量,后续可以采用降低描述算子维度的方法,使影像匹配效果与计算量达到均衡。

5. 结束语

无人机数字影像的重叠度、旋转角变化大,存在较大畸变,影像匹配相对困难。本文针对无人机数字影像匹配问题,基于SIFT算法开展改进试验研究。针对无人机影像特点,扩大了SIFT算法极值点检测和特征点定位的范围;针对阈值的选择,不同影像需选择出最佳适应性阈值,并用RANSAC算法对误匹配点对进行剔除。实验结果表明,经过扩大极值点检测范围后,SIFT算法提取的特征点数有所增加,匹配点对的数量也有所增加,并剔除了一些不稳定的特征点。对阈值适应性的试验能够针对不同的数字影像选择相对较佳的阈值,从而明显增加特征点数和匹配点对的数量。

基金项目

湖南省研究生科研创新项目(CX2016B395);公路地质灾变预警空间信息技术湖南省工程实验室科研项目(kfj150602)。

文章引用

华赛男,邓兴升. 可变阈值SIFT算法匹配无人机影像
Variable Threshold SIFT Algorithm for UAV Image Matching[J]. 测绘科学技术, 2018, 06(01): 8-14. http://dx.doi.org/10.12677/GST.2018.61002

参考文献 (References)

  1. 1. 李德仁, 李明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报: 信息科学版, 2014, 39(5): 505-513.

  2. 2. 何敬, 李永树, 鲁恒, 等. 无人机影像的质量评定及几何处理研究[J]. 测绘通报, 2010(4): 22-24.

  3. 3. Brown, L.G. (1992) A Survey of Image Registration Techniques. ACM Computing Surveys (CSUR), 4, 325-376.

  4. 4. 刘明奇, 倪国强, 陈小梅. 基于信息熵和灰度相关的图像拼接算法[J]. 光学技术, 2007, 33(S1): 253-254.

  5. 5. 饶俊飞. 基于灰度的图像匹配方法研究[D]: [硕士学位论文]. 武汉: 武汉理工大学, 2005.

  6. 6. 李志刚, 纪玉波, 薛全. 边界重叠图象的一种快速拼接算法[J]. 计算机工程, 2000, 26(5): 37-38.

  7. 7. 冉柯柯, 王继成. 基于比值法图像拼接的等比例改进算法[J]. 计算机技术与发展, 2010, 20(2): 5-8.

  8. 8. Lowe, D.G. (2004) Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 60, 91-110. https://doi.org/10.1023/B:VISI.0000029664.99615.94

  9. 9. Lowe, D.G. (1999) Object Recognition from Local Scale-Invariant Features. Computer Vision, 2, 1150-1157.

  10. 10. Lowe, D.G. (2001) Local Feature View Clustering for 3D Object Recognition. Computer Vision and Pattern Recognition, 1, I-682-I-688.

  11. 11. Bozorgi, H. and Jafari, A. (2017) Fast Uniform Content-Based Satellite Image Registration Using the Scale-Invariant Feature Transform Descriptor. Frontiers of Information Technology & Electronic Engineering, 18, 1108-1117.

  12. 12. 李婷. 无人机影像拼接关键技术研究[D]: [硕士学位论文]. 北京: 中国矿业大学, 2014.

  13. 13. 陈树, 王磊. 一种改进的基于RANSAC方法的SIFT特征匹配[J]. 信息技术, 2016(12): 39-43.

  14. 14. 赵烨, 蒋建国, 洪日昌. 基于RANSAC的SIFT匹配优化[J]. 光电工程, 2014, 41(8): 58-65.

  15. 15. 叶志坚,王福龙. 基于FREAK和RANSAC算法改进的图像特征点匹配[J]. 广东工业大学学报, 2017(6): 37-42.

期刊菜单