遥感影像的舰船检测在海洋运输、渔业监控和军事安全领域有着广泛的应用前景,因此受到了越来越多研究者的关注。而高分辨率的光学影像由于其图像内容丰富,是舰船检测中的一个重要数据源,但是糟糕的天气状况和影像中过多的细节信息都会干扰检测过程,增加检测难度。本文提出了一种基于多重形态学谱的舰船检测框架,快速而准确的从高分辨率的全色影像中提取舰船目标。该框架分为候选目标提取和舰船目标确认两个阶段。在候选目标提取阶段,本文设计了一种基于形态学的舰船指数,快速提取可能的舰船目标;在舰船目标确认阶段,首先提取了候选目标的多重形态谱特征,包括数学形态谱、属性形态谱和它们的差分形式,然后将它们输入随机森林分类器,剔除候选目标中的虚警。实验证明本文提出的框架可以快速准确的从高分辨率影像中提取舰船目标。 Ship detection from remotely sensed imagery has a wide range of applications in vessel traffic service, fisheries monitoring and military security, thus an increased number of researchers have paid attention to this field. High-resolution panchromatic imagery is an important data source for ship detection due to its abundant spatial information. However, the bad weather conditions and excessive details in high-resolution imagery can obstruct the detection. In this paper, we proposed a two-stage framework based on multiple morphological profiles to detect ships effectively. In candidate detection stage, a morphological ship index is built to detect ship candidates without any omissions. In candidate identification stage, structure features of the candidates are extracted from multiple morphological profiles, including morphological profiles and attribute profiles. A random forest classifier is subsequently employed to distinguish the true ships from false alarms. The experimental results show that the proposed framework achieves high detection accuracy in high-resolution optical imagery.
朱泽润
武汉大学测绘遥感信息工程国家重点实验室,湖北 武汉
收稿日期:2018年3月28日;录用日期:2018年4月9日;发布日期:2018年4月16日
遥感影像的舰船检测在海洋运输、渔业监控和军事安全领域有着广泛的应用前景,因此受到了越来越多研究者的关注。而高分辨率的光学影像由于其图像内容丰富,是舰船检测中的一个重要数据源,但是糟糕的天气状况和影像中过多的细节信息都会干扰检测过程,增加检测难度。本文提出了一种基于多重形态学谱的舰船检测框架,快速而准确的从高分辨率的全色影像中提取舰船目标。该框架分为候选目标提取和舰船目标确认两个阶段。在候选目标提取阶段,本文设计了一种基于形态学的舰船指数,快速提取可能的舰船目标;在舰船目标确认阶段,首先提取了候选目标的多重形态谱特征,包括数学形态谱、属性形态谱和它们的差分形式,然后将它们输入随机森林分类器,剔除候选目标中的虚警。实验证明本文提出的框架可以快速准确的从高分辨率影像中提取舰船目标。
关键词 :舰船检测,遥感,形态学,随机森林
Copyright © 2018 by author and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
http://creativecommons.org/licenses/by/4.0/
伴随着对地观测技术飞速发展,越来越多高分辨率遥感影像展现在专家学者们面前,对于这些影像的应用研究也越来越多,目标检测则是其中重要一种。而舰船作为海上的主要目标,对于它的检测也受到了越来越多的关注。遥感影像的舰船检测本身就有广阔的应用前景,例如海洋渔业监控、海上商业运输管理、打击非法偷渡、非法跨境捕鱼等;在战时,舰船检测更有引导制导武器、海域侦查、评估作战结果等重要作用 [
虽然高分辨率全色影像有其自身的有点,但是全色影像中的一些形状和亮度上与舰船相似的目标容易成为检测中的虚警,例如云块、波浪、岛屿等。为了抑制这些虚警,光学影像的舰船检测一般采用由粗略到精细的两阶段检测框架。第一个阶段为候选目标提取,该阶段检测整幅影像,提取可能为舰船的目标作为候选目标。该过程不考虑虚警数量,但是要尽量减少舰船目标的遗漏,其基本思路是利用舰船目标与海面背景的灰度差异进行阈值分割,例如灰度差异分割、图像信息熵分割、局部统计方差分割。也有研究使用一些较为复杂的模型代替简单的灰度特征统计,Bi等 [
从现有的研究来看,在候选目标提取阶段中,如果简单的利用灰度差异进行阈值分割,提取结果较差,如果使用复杂的模型,会大幅增加时间成本。另一方面,我们可以看到几乎没有研究利用形态学进行舰船检测,然而形态学作为一种有效的数字图像处理工具,因其可以在保持图像基本结构特性的同时简化图像数据,已被广泛的应用于遥感影像中的车辆、房屋和道路的自动检测 [
利用高分辨率全色影像进行舰船检测,容易产生大量的虚警 [
候选目标提取的核心算法是形态学舰船指数的构建,其基本原理是用具有方向的形态学算子构建形
图1. 舰船检测流程图
态普来描述舰船的空间特性,自动增强舰船目标,滤除海洋背景,从而在不需要训练样本的条件下快速检测舰船。由于该指数是基于数学形态学构建的,所以这里首先简单介绍数学形态学的相关概念 [
本文利用上文的形态学描述舰船的亮度、尺度、方向等特征,构建了一个形态学舰船指数,该指数的具体计算步骤如下:
Step 1:形态学顶帽变换。在光学遥感图像中,舰船的材质反射率较高,相比于海洋背景具有较高的亮度值,因此本文使用顶帽变换(Top-hat Transformation, THT)提取舰船,即用原始影像减去开运算后的影像,同时为了更好的保持目标的形状,这里使用开重建来代替开运算 [
THT s d ( I ) = I − γ s d ( I ) (1)
其中I为原始影像, γ ( I ) 为形态学开重建, s , d 分别为结构元素的尺度和方向。
Step 2:多方向顶帽变换。传统的圆盘形结构元素是各向同性的没有方向信息,而舰船目标却具有很强的各向异性,因此本文使用具有方向性的线性结构元素提取舰船。在进行顶帽变换时,使用不同方向的线形结构元素,然后取不同尺度的结果中的最大值突出舰船的方向性,其公式如下:
Step 3:多尺度顶帽变换。舰船的大小虽然是在一定的范围内,但不同的舰船长度、宽度、面积,具有显著的多尺度特性,因此本文使用多尺度的顶帽变换,即使用一组长度逐渐增大的线形结构元素处理影像,这一组结果称之为数学形态谱(Morphological Profiles, MP) [
为了更好的体现目标的尺度特性,本文将数学形态谱中相邻的结果相减,得到了大小在这两个尺度之间的目标,其被称为差分数学形态谱(Differential Morphological Profiles, DMP),其公式为:
Step 4:形态学舰船指数。在上述步骤中我们考虑了舰船目标的亮度、方向和尺度,根据这些特征可以定义下面的形态学舰船指数:
舰船目标在上述差分数学形态谱中具有较高的值,所以该指数越高代表该像素为舰船目标的可能性越大。
计算得到形态学舰船指数后,只需要对其进行阈值分割(二值化)即可得到舰船目标的提取结果。然而,简单的单阈值分割结果十分依赖阈值的选取,阈值过低会导致分割结果中有大量的噪声和虚警,阈值过高会导致目标的形状不完整,甚至使目标分裂成若干小目标。为了解决这一问题,本文采用了基于形态学重构的双阈值分割 [
其中
从图2可以看出上一阶段所得到的舰船候选目标中,仍然有许多云块和波浪被提取出来,如果用人工剔除这些虚警耗时耗力,大大降低了舰船检测的效率。部分研究提取了目标的面积、周长、长宽比等形状特征,然后对它们设置阈值来剔除这些虚警,然而这种简单的方式精度较低,对于大量形状与船体相似的虚警(图3)无法准确的剔除。因此,本文对候选目标提取了更为有效的多重形态学特征,包括数学形态谱、差分数学形态谱、属性形态谱(Morphological Attribute Profiles, AP)、差分属性形态谱(Differential Morphological Attribute Profiles, DAP) [
图2. 候选目标提取示例
图3. 典型的虚警示例
本小节介绍数学形态谱及其衍生的差分数学形态谱特征的提取。数学形态谱的相关概念在构建舰船指数时进行了介绍,其实质是使用一组大小递增的结构元素来对影像进行形态学处理,得到一组多尺度的形态学特征。同样由于舰船相对背景是一种较亮的目标,这里仍然使用开重建作为形态学处理的算子。此处,我们没有使用顶帽变换,因为顶帽变换实质上是开重建的补集,它突出了被提取的目标使结果更加直观易懂,这在构造指数是有益的,但是作为特征其本质上与开重建是相同的。为了与其它特征形式上保持一致,本文直接使用开重建构建数学形态谱作为分类的特征,其公式如下:
其中
差分数学形态谱表示的是,当使用的结构元素逐渐增大时,得到的一系列形态学结果的残差,因此相较于数学形态谱,差分形式能更好地进行多尺度分析。这里也使用线形结构元素来生成这两种形态学谱,因此对于每一个方向都可以生成一组形态谱。
在生成影像的数学形态谱和差分数学形态谱后,就可以计算每一个目标即二值图像中的每一个连通分量的特征向量。对于某个形态谱中某个尺度的形态学结果,计算目标对应所有像素的均值作为该目标在该尺度上的一维特征,例如某个方向上的数学形态谱有n种尺度,则可生成该方向上的n维数学形态谱特征。
虽然数学形态谱可以有效地提取影像的空间信息,尤其是对于具有特定模式的目标,但是数学形态谱仍然存在一些缺点。首先,数学形态谱所得到的空间信息不完整,数学形态谱通过结构元素来提取空间信息,但是每一个结构元素都具有一个固定的形状,任何一种形状都不可能完整的描述一个复杂目标的空间特征。其次,由于结构元素的限制,数学形态谱无法描述比尺度和形状更加复杂的几何特征,例如同质性、区域骨架长度等。
为了解决上述问题,Mura等 [
其中
属性形态学中的属性是对目标的特征表示,需要研究者根据情况进行设置,本文使用了面积、第一不变Hu矩和标准差三种常用的属性。与数学形态谱类似,对于某一个属性的谱中的某尺度结果,计算一个目标包含的所有像素的均值作为该目标在该尺度上的一维特征。
在提取每一个目标的特征后,本文使用随机森林分类器对这些目标进行监督分类,剔除其中的虚警。随机森林的本质是由多个相互独立的决策树所组成的集成分类器,森林中的每棵决策树,都利用从全部特征和样本中随机抽取的部分特征和训练样本构建而成,其中样本的抽取是可重复的。随机森林最终的决策结果是由所有决策树投票产生的。随机森林算法由于其高效稳健,而且不容易产生过拟合现象等优点,被广泛的应用于遥感影像的分类当中。同时,随机森林算法引入了特征变量的随机选择和样本的随机选择,使其对于样本数量少而且特征数量多的分类问题有较好的效果,而本文的舰船检测问题正好具备该特点,因此选用随机森林分类器进行舰船目标的确认。
本实验采用的数据是2014年新加坡地区的高分辨率全色影像,该影像有法国SPOT5卫星HRG传感器获取,大小为12,000 × 12,000像素。影像的主要部分为新加坡港,新加坡港位于新加坡的南部沿海,西临马六甲海峡,由于其地理位置优越,且水域宽阔少有风暴,因此新加坡港海运繁忙,附近的海面有大量的舰船(通过人工目视判读,影像上共302艘舰船),十分适合作为实验区域。同时新加坡港是亚太地区最大的转口港和世界最大的集装箱港口之一,对于该区域的也具有较强的现实意义。
首先,我们说明在舰船候选目标提取阶段相关的实验参数设置。对于形态学舰船指数的生成,实验所使用的线形结构元素有4个方向,
然后,在舰船目标确认阶段,共提取了目标的四种形态学特征,对于数学形态谱和差分数学形态谱,它们的方向和尺度参数与生成舰船指数时相同。对于属性形态谱和差分属性形态谱,本文使用了三种属性,根据舰船的相关特征,面积属性的阈值设置为
本实验的结果使用精确度(Precision)和召回率(Recall)两个参数进行精度评价,前者可以反映检测结果中的虚警比例,后者可以评估检测结果中的漏检状况。这两个参数的公式如下:
精确度的定义是被正确检测出的舰船数量占所有被算法检测为舰船的目标数量的百分比,精确度越高表明检测结果中的虚警数量越少。召回率的定义为被正确检测出的舰船数量占影像中实际舰船总数的百分比,召回率越高漏检的舰船数量越少。
本文所提出的舰船检测方法在实验区域内取得了较高的精度,精确度达到93.86%,召回率达到92.20%,说明了该方法可以较好的从全色影像中检测舰船目标。由于实验影像较大,这里展示了实验数据的局部提取结果(图4),包括候选目标提取的结果和进行目标确认后的最终结果,被检测出来的目标用其最小外接矩形进行标记,即图中的白色方框。在候选目标提取阶段,本文所提出的形态学舰船指数共提取出634个目标,包括所有的302个舰船目标和332个非舰船目标。虽然利用舰船指数检测出了影像中的全部舰船目标,但是同时也混入了大量的虚警,如图4左图所示,在这个局部的结果中大量的云块、防波堤的部分以及少量的波浪都被检测为舰船。实际上由于实验影像中有大量的云块和波浪存在,通过舰船指数所提取的候选目标中非舰船的比例高达50%以上,如果人工判读仍然工作量巨大,因此使用机器学习的方式进一步的剔除虚警是必要的。目标确认阶段只需要将目标分为舰船和非舰船两类,并且所提取的形态学特征可以很好的描述这两类目标,于是本文使用了简单的随机森林分类器,训练分类器所选取的样本数量也较少。实验证明这样通过简单的监督分类仍然可以有效的剔除候选目标中的虚警,如图4右图所示,所有的非船体目标均被剔除,取得了较好的结果,较高的精确度同样说明了这一点,更多的局部提取结果如图5所示。
在目标提取阶段,本文将四种形态特征堆叠后输入随机森林进行分类,为了比较这四中形态学特征的优劣,我们增加实验将这四种特征单独输入随机森林进行分类,其结果如图6所示。观察图6可以发现,各个特征之间的表现在精确度和召回率两个参数上基本一致,对于单独的特征,数学形态谱的表现最差,差分数学形态谱和差分属性形态谱精度相当且表现最好。但是从整体上来看,单独使用任何一种特征提取精度均低于90%,均低于多种形态学特征叠加提取的精度,这证明了多特征联合分类的必要性。
图4. 两个检测阶段的局部结果比较
图5. 最终提取结果的局部展示
图6. 不同特征的提取精度
同时,差分形态谱的表现均好于原始形态谱,无论实在数学形态学还是属性形态学中,说明了形态谱的差分形式确实可以更好的进行多尺度分析。属性形态学所生成两类特征提取精度略高于相应的数学形态学所生成的两种特征。
本文针对高分辨率全色影像的舰船检测问题,提出了一个基于多重形态学特征的检测框架,该框架由候选目标提取和舰船目标确认两个阶段组成。在候选目标提取阶段,综合考虑舰船目标的亮度、方向和尺度等特征,利用形态学顶帽变换构建了一种舰船指数,该指数可以有效的增强舰船目标,滤除海洋背景。相较于现有的舰船检测方式该指数更加简单有效,实验证明对该指数进行双阈值分割后,可以提取出实验区域内所有的舰船目标。虽然形态学舰船指数可以有效的提取舰船目标,但是由于高分辨率全色影像自身的特性,其检测结果包含一些虚警,因此在舰船目标确认阶段,本文对上一阶段所检测出的候选目标进行多重形态谱特征提取,然后将它们输入随机森林分类器,检测候选目标中真正的舰船目标。实验结果证明了本文提出的多重形态谱特征可以有效的描述舰船目标的特征,使用简单的机器学习即可剔除大部分虚警,实现较高的检测精度。当然,本文的实验也存在着一些不足,主要是在舰船检测后没有进一步提取目标的其它信息,从而无法对所检测的舰船进行更详尽的分析,限制了该方法的应用范围。在未来的研究中,我们将挖掘舰船的轮廓、形状、结构等信息,同时加入多光谱影像,对所提取的舰船进行进一步的分类(例如分类为货轮、客轮、军舰等),从而使该能算法更好的应用于海洋渔业监控、海上运输管理、港口评估等领域。
朱泽润. 基于多重形态谱的高分辨率遥感影像舰船检测 Multiple Morphological Profiles for Ship Detection from High-Resolution Remotely Sensed Imagery[J]. 测绘科学技术, 2018, 06(02): 52-61. https://doi.org/10.12677/GST.2018.62007