蝇类昆虫–果蝇复眼视觉系统的高适应性和高可靠性是一种自然特性,对于视觉杂乱场景中感兴趣目标/区域(统称“图形”)的分辨和飞行追踪过程,在本质上却是良态和适定的。本文针对遥感影像水体信息提取所涉及的图像分割和“图形–背景(figure-backgrounds, FB)”分辨这一逆问题求解存在的病态的(不适定的)本质性困难,基于昆虫生理学研究的新发现,分析果蝇复眼视觉信息加工的神经过程,模拟其无需背景建模、先验信息以及不依赖于样本数据训练隐式模型,所具有的视觉杂乱背景且噪声干扰下“图形–背景”分辨的功能优势,提出一种仿蝇视觉“图形–背景”分辨的遥感影像水体提取方法,通过多组仿真实验,并与标准的归一化差异水体指数NDWI、改进的NDWI (MNDWI)、决策树模型以及SVM分类等方法做了分析对比,验证了新方法的优越性。 The high adaptability and reliability of the compound visual system of flies and drosophila is a natural characteristic, and the identification and flight tracking process of the target/region of interest (general called “graphics”) in the visual clutter scene is essentially well-conditioned and well-adapted. This paper focuses on the ill-posed (not well-posed) inherent difficulties of image segmentation and inverse problem of “figure-backgrounds (FB)” resolution in water extraction from remote sensing images. Based on the new findings of insect physiology, the neural processing of compound visual information in drosophila is analyzed, and the implicit model is trained by simulating modeling without background and prior information, or relying on the sample data, which has the advantages of visual clutter and “figure-backgrounds” resolution under noise interference. A method of water extraction from remote sensing image based on simulating fly’s vision “figure-backgrounds” resolution is proposed. Compared with the standard normalized differential water body index (NDWI), improved NDWI (MNDWI), decision tree model and SVM classification method, the superiority of the new method is verified.
蝇类昆虫–果蝇复眼视觉系统的高适应性和高可靠性是一种自然特性,对于视觉杂乱场景中感兴趣目标/区域(统称“图形”)的分辨和飞行追踪过程,在本质上却是良态和适定的。本文针对遥感影像水体信息提取所涉及的图像分割和“图形–背景(figure-backgrounds, FB)”分辨这一逆问题求解存在的病态的(不适定的)本质性困难,基于昆虫生理学研究的新发现,分析果蝇复眼视觉信息加工的神经过程,模拟其无需背景建模、先验信息以及不依赖于样本数据训练隐式模型,所具有的视觉杂乱背景且噪声干扰下“图形–背景”分辨的功能优势,提出一种仿蝇视觉“图形–背景”分辨的遥感影像水体提取方法,通过多组仿真实验,并与标准的归一化差异水体指数NDWI、改进的NDWI (MNDWI)、决策树模型以及SVM分类等方法做了分析对比,验证了新方法的优越性。
遥感影像,水体信息提取,杂乱背景,仿生复眼信息处理,神经建模
Mengxi Xu1, Jianqiang Shi2, Keyong Shen3, Yuying Liang3
1School of Computer Engineering, Nanjing Institute of Technology, Nanjing Jiangsu
2School of Energy and Power Engineering, Nanjing Institute of Technology, Nanjing Jiangsu
3College of Computer Information and Engineering, Nanchang Institute of Technology, Nanchang Jiangxi
Received: Jul. 17th, 2021; accepted: Aug. 23rd, 2021; published: Aug. 30th, 2021
The high adaptability and reliability of the compound visual system of flies and drosophila is a natural characteristic, and the identification and flight tracking process of the target/region of interest (general called “graphics”) in the visual clutter scene is essentially well-conditioned and well-adapted. This paper focuses on the ill-posed (not well-posed) inherent difficulties of image segmentation and inverse problem of “figure-backgrounds (FB)” resolution in water extraction from remote sensing images. Based on the new findings of insect physiology, the neural processing of compound visual information in drosophila is analyzed, and the implicit model is trained by simulating modeling without background and prior information, or relying on the sample data, which has the advantages of visual clutter and “figure-backgrounds” resolution under noise interference. A method of water extraction from remote sensing image based on simulating fly’s vision “figure-backgrounds” resolution is proposed. Compared with the standard normalized differential water body index (NDWI), improved NDWI (MNDWI), decision tree model and SVM classification method, the superiority of the new method is verified.
Keywords:Remote Sensing Image, Water Information Extraction, Cluttered Backgrounds, Information Processing of Bionic Compound Eye, Neural Modeling
Copyright © 2021 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
卫星遥感具有大范围探测、实时性高、信息丰富等优点,已经成为提取江河湖库等水体的位置、面积、轮廓(边界)及水位的一种有效手段。利用卫星遥感数据进行水体信息提取的数据源主要包含雷达遥感数据、光学遥感数据以及两者结合的数据。在可见光范围内,水体的反射率总体上比较低,不超过10%,一般为4%~5%,并随着波长的增大逐渐降低。在红外波谱段,水体吸收了近红外及短波红外谱段内绝大部分的入射能量,反射能量很少;而其它地物所吸收的能量较小,具有较高的反射率,这使得水体在红外波波谱段与植被、土壤、城市建筑等地物有明显区别,遥感影像水体提取正是利用目标地物在不同波谱段表现出不同的反射或辐射特性来确定水体的位置、面积和边界等。水体信息提取采用了低、中、高不同分辨率的卫星遥感手段,中低分辨率遥感具有良好的现势性和宏观性,高分辨率遥感影像解译质量高,但高分影像获取周期长、时间分辨率较低,低分影像可以监测到水体每日的变化情况,时间分辨率较高,不同分辨率影像能够在空间、时间上互补。
在基于光学的多光谱、高光谱遥感水体提取研究方面,目前应用最多的水体提取方法包括基于像元分类的阈值法、基于目标/区域分类的分类器法和不同方法的集成法三类。阈值法多应用于中、低分辨率影像,包括单波段法,多波段法的谱间关系法、比值法、水体指数法等 [
遥感影像中的光谱、纹理、局部结构、形状、颜色等特征信息是水体提取的关键要素,也是从背景中分割感兴趣目标/区域(统称为“图形”)以及辨识地物属性的重要依据。从计算机图像处理与模式识别的角度来看,水体提取所涉及的图像分割和“图形–背景(figure-backgrounds, FB)”分辨这一逆问题的求解,现有的诸如基于对象机理的动力学方程建模、数据驱动建模、基于学习方法受限于有限样本数据训练的建模等仍然解决不了求解的不适定(病态的)问题。模型与对象之间在在系统响应上难以做到“等价”,直接影响到图形–背景辨识的“精度”和水体信息的高质量解译。
大自然为从复杂背景中分辨感兴趣目标/区域提供了丰富的灵感来源。蝇类昆虫–果蝇复眼视觉系统的高适应性和高可靠性是一种自然特性,与灵长类动物的视觉系统相比,复眼分辨力和视觉计算资源尽管有限,对于视觉杂乱场景中(且噪声干扰条件下)“图形”的分辨和跟踪过程,在本质上却是良态和适定的 [
1) 借鉴复眼视觉系统的功能优势,基于最新的昆虫生理学研究发现,建立了一种新的仿生蝇视觉“图形–背景”分辨的遥感影像水体提取模型(water body extraction model from remote sensing images based on bionic drosophila vision of FB discrimination,简称WBEM-BDV),模拟了视网膜–薄板–髓质–小叶视神经纤维网对于杂乱背景中“图形”的分割和辨识的神经计算过程。
2) 在对薄板单极细胞LMCs中一类L1、L5,髓质Tm3/Mi1等神经元(ON通道),以及L2、L4、Tm1/Tm1(OFF通道)分别向下游层小叶投射的传递路径中,引入二级侧抑制机制,对被薄板分解成两条平行的ON和OFF通道的视觉信号,分别做二次视觉滤波(secondary visual filtering, SVF),有效增强了杂乱背景下对“图形–背景”分辨的抗噪性能。
3) 通过模拟小叶及小叶板中小叶柱细胞LCs和小叶板切向细胞LPTCs对特征参数的提取和“图形–背景”辨识表现出的显著选择性神经过程,设计的光谱特征与空域特征交叉相关的多光谱遥感影像特征提取算法,经实验测试,验证了其在城市湖泊地区综合复杂特性背景下对于ON和OFF通道信号的整合,以及对于水体分割和辨识具有的敏感响应偏好和精细化的信息提取性能。
蝇类昆虫–果蝇(drosophila)的头部有一对复眼,三只小的单眼(用于导航)和一对触角。复眼(compound eye)的形状呈曲面型,由小眼(ommatidium)成簇排列而成。单侧复眼大约有750~800小眼。每只小眼中包含8个感光细胞(即小眼视网膜细胞)和视紫红质(photopigment rhodopsin, Prh)等色素细胞,感光细胞R1~R8中,R1~R6负责大范围光谱的色觉 [
复眼感光部和神经元线路结构遵循神经叠加原理,视叶的每层神经纤维网是对应于每个小眼六角形晶格的柱状组件重复排列 [
有关复眼的组织学和神经生理学研究已有一个多世纪的历史。当今,其视觉系统也已成为研究计算机视觉与模式识别问题的重要模型 [
构建的仿生蝇视觉“图形–背景”分辨的遥感影像水体提取模型(简称WBEM-BDV模型),设有视网膜层计算层、薄板层计算、髓质层计算层、小叶和小叶板层计算四个层级 [
1) 视网膜层计算
基于复眼感受光场和光谱的刺激,模拟视网膜感光细胞光电转换响应。设计“重叠捆绑”的三个3 × 3小观察窗口,构建“仿小眼感受野”,来近似一个小眼的采样(x, y, k),分别代表仿小眼感受野中心“像元”的坐标和k波段的采样。采用“仿小眼感受野”遍历地滑动扫描的方式,读取“光强–光谱”遥感影像信息,形成对遥感影像输入的网格化读取处理,模仿小眼感光传像信号的投射,在薄板层形成视觉“胶片”。
2) 薄板层计算
薄板层计算包括初级视觉滤波和半波整流,初级视觉滤波由模拟薄板单极细胞LMCs空域带通滤波和侧抑制滤波二个部分组成,其初级视觉滤波机制的核心是基于中心–周围对抗(centre-surrounding antagonism)的互抑制现象。薄板单极细胞LMCs中L1、L2~L5,每个神经元可以作为一个带通滤波器,带通滤波器由仿小眼感受野的采样输出和带通滤波器 H ( k ) 卷积得到 [
L A ( x , y , k ) = { | P e ( x , y , k ) − P i ( x , y , k ) | , if P e ( x , y , k ) ≥ 0 , P i ( x , y , k ) ≥ 0 − | P e ( x , y , k ) − P i ( x , y , k ) | , if P e ( x , y , k ) < 0 , P i ( x , y , k ) < 0 (1)
式中, P e 代表中心正高斯的兴奋信号, P i 代表周围负高斯的抑制信号。
采用半波整流方式,将视网膜感光传像信号分解成两条平行的ON和OFF通道进行处理:
ON通道:
L O N ( x , y , k ) = Z ( x , y ^ , k ) , if Z ( x , y ^ , k ) > 0 (2)
OFF通道:
L O F F ( x , y , k ) = − Z ( x , y ^ , k ) , if Z ( x , y ^ , k ) < 0 (3)
图1. WBEM-BDV模型框架
3) 髓质层计算与二次视觉滤波(ON-SVF、OFF-SVF)
髓质层对于ON和OFF通道信号的二次视觉滤波(secondary visual filtering, SVF)是通过二次侧抑制实现的,设像元坐标为 ( x , y ) 和相邻像元坐标为 ( u , v ) ,经侧抑制的输出信号为 [
O N L I ( x , y , k ) = ∬ O N ( u , v , k ) W 2 ( x − u , y − v ) d u d v (4)
O F F L I ( x , y , k ) = ∬ O F F ( u , v , k ) W 2 ( x − u , y − v ) d u d v (5)
上式中, W 2 ( x , y ) 为侧抑制核函数,其定义如下 [
W 2 ( x , y ) = A [ D 1 O G ( x , y ) ] + + B [ D 1 O G ( x , y ) ] − (6)
D 1 O G ( x , y ) = G σ 4 ( x , y ) − G σ 5 ( x , y ) (7)
其中, G σ ( x , y ) 为高斯函数A和B均为常量。
4) 小叶和小叶板层计算
大多数计算机视觉的图形–背景辨识方法通常是静态空域特征和动态时域特征分别处理的,很少考虑两类特征之间的交互作用,而蝇视觉的“图形–背景”分辨却是基于动态时域特征和静态空域特征综合作用的结果 [
选择空间相邻两个像元的光谱强度值作为光谱与空域交互的特征提取算法流程的输入,采用对称交叉相乘的处理方式 [
R h ( x , y ) = I k l ( x , y ) I k m ( x + Δ d , y ) − I k l ( x + Δ d , y ) I k m ( x , y ) (8)
上式的 R h ( x , y ) 为 k l 波段与 k m 波段在水平方向上间隔为 Δ d 距离的光谱强度交叉相关后相减的结果。式中, ( x , y ) 表示像元的空间位置, R h 为特征提取算法的输出, I k l ( x , y ) 和 I k m ( x , y ) 分别是 k l 、 k m 波段在空间位置 ( x , y ) 上的光谱强度值, I k l ( x + Δ d , y ) 是 k l 波段在水平方向上与第 ( x , y ) 个像元间隔 Δ d 距离处的光谱强度值, I k m ( x + Δ d , y ) 也同理。
利用欧几里得距离可计算出空间位置点 ( x , y ) 上的特征信息 [
M ( x , y ) = R h ( x , y ) 2 + R v ( x , y ) 2 (9)
式中, R h ( x , y ) , R v ( x , y ) 是 ( x , y ) 像元分别在水平和垂直方向上的特征信息。
城市中的湖泊地区大多存在综合复杂特性:1) 地表覆盖(也包含各类人工绿化区块)的类型复杂;2) 水体与城市建筑物阴影混淆;3) 浅滩等水陆交叉且水体细小;4) 水体富营养化和浮游、浮叶植物引起的光谱差异;5) 空间分辨率受限下混合像元影响严重。使得水体信息的精细化提取(特别是基于中分辨率遥感影像)需要解决综合复杂性背景下的图像分割和解译。南京市百家湖地区具有上述城市湖泊地区综合复杂特性的典型性。实验中采用相同时期的法国SPOT-5以及美国Landsat-7遥感数据,并对实验结果做出人工目视判读评价,以及与地面测量数据进行对比分析。
1) SPOT-5数据
法国SPOT-5卫星上载有2台高分辨率几何成像装置(HRG)、1台高分辨率立体成像装置(HRS)、1台宽视域植被探测仪(VGT)等。HRG的观测参数示于表1。图2给出了2003年7月27日SPOT-5的HRG在近红外谱段获取的南京市百家湖遥感影像示例。
波谱段 | 类型 | 光谱范围(μm) | 空间分辨率(m) |
---|---|---|---|
PAN | 全色(pan) | 0.49~0.69 | 2.5、5 |
XS1 | 绿光(green) | 0.49~0.61 | 10 |
XS1 | 红光(red) | 0.61~0.68 | 10 |
XS3 | 近红外(near IR) | 0.78~0.89 | 10 |
XS4 | 短波红外(SWIR) | 1.58~1.75 | 20 |
表1. SPOT-5搭载HRG的观测参数
图2. 南京市百家湖地区SPOT-5近红外影像
2) 基于SPOT-5近红外(near IR)影像的水体提取
图3(a)~(c)分别是传统的单波段阈值方法、决策树模型法 [
图3. SPOT-5遥感百家湖水体提取结果
以靠近百家湖白龙桥(白龙桥是横跨湖心的桥,东西走向)北侧和南侧,岚湾桥(南北走向)西侧和东侧处分别设置地面测量点。根据地面实测数据的湖面宽度作为参照对比,基于相对误差RE和平均相对误差ARE指标,做客观评价,评价结果列于表2。从表中可看出,WBEM-BDV新方法的平均相对误差较小(ARE = 3.540%),或者说遥感水体提取得到的湖面宽度与地面实测湖宽最为接近,决策树模型法的平均相对误差ARE = 3.541%,而单波段阈值法的平均相对误差最大(ARE = 4.448%)。说明WBEM-BDV新方法对水体信息精细化提取是有效的。
方法 | 位置 | RE | ARE |
---|---|---|---|
单波段阈值 | 白龙桥北侧、南侧 | 3.386%,2.754% | 4.448% |
岚湾桥西侧、东侧 | 7.107%,4.545% | ||
决策树模型 | 白龙桥北侧、南侧 | 2.550%,2.394% | 3.541% |
岚湾桥西侧、东侧 | 5.584%,3.636% | ||
新方法 | 白龙桥北侧、南侧 | 2.545%,2.387% | 3.540% |
岚湾桥西侧、东侧 | 5.585%,3.636% |
表2. SPOT-5遥感百家湖水体提取的客观评价
1) Landsat-7数据
美国Landsat-7卫星载有增强型专题制图仪(Enhanced thematic mapper,简称ETM+)传感器。ETM+共有8个光谱波段,相比较Landsat-4、Landsat-5,增加了一个全色波谱段。ETM+的观测参数见表3所示。选用ETM+中的第2 (绿光)、第4 (近红外)、第5 (短波红外)波谱段(即ETM+542三个波谱段的百家湖地区假彩色合成影像)和第8波谱段的全色影像,经ETM+542与全色影像数据融合及合成后再进行水体提取实验。
波谱段B | 类型 | 光谱范围(μm) | 空间分辨率(m) |
---|---|---|---|
1 | 蓝光(blue) | 0.45~0.515 | 30 |
2 | 绿光(green) | 0.525~0.605 | 30 |
3 | 红光(red) | 0.63~0.69 | 30 |
4 | 近红外(near IR,NIR) | 0.775~0.90 | 30 |
5 | 短波红外(SWIR) | 1.55~1.75 | 30 |
6 | 远红外(LWIR) | 10.4~12.5 | 60 |
7 | 短波红外(SWIR) | 2.09~2.35 | 30 |
8 | 全色(pan) | 0.52~0.90 | 15 |
表3. Landsat-7搭载ETM+的观测参数
2) 基于Landsat-7 ETM+数据融合的水体提取
通过第8波段全色波段与Landsat-7 ETM+542波谱段假彩色合成影像的数据融合处理,得到兼有全色影像的空间高分辨率和多光谱彩色信息的合成影像,在此基础上进行水体信息的提取。基于数据融合的水体信息提取流程如图4示意。
图4. 基于遥感数据融合的水体提取流程
ETM+542合成影像和全色影像的配准精度均在0.5个像素内,考虑到全色影像与ETM+542合成影像有不同的频率范围,可能造成同一场景中的同一地物会有不同的辐射响应,在融合之前还需要采用直方图匹配进行影像配准。传统的ETM+多光谱与全色影像融合方法在不同程度上存在一定的局限,考虑到均衡融合结果中的空间细节信息和光谱信息二项特征指标,实验中采用Choquet模糊积分选择小波变换系数的融合方法得到合成影像 [
分别采用归一化差异水体指数(normalized difference water index, NDWI)模型、改进的归一化差异水体指数(modified NDWI, MNDWI)模型、决策树模型法 [
图5. 基于Landsat-7 ETM+数据融合的百家湖水体提取的实验结果
方法 | 位置 | RE | ARE |
---|---|---|---|
NDWI | 白龙桥北侧、南侧 | 3.187%,2.754% | 4.323% |
岚湾桥西侧、东侧 | 7.107%,4.242% | ||
MNDWI | 白龙桥北侧、南侧 | 2.988%,2.582% | 4.230% |
岚湾桥西侧、东侧 | 7.107%,4.242% | ||
决策树模型 | 白龙桥北侧、南侧 | 2.390%,2.410% | 3.505% |
岚湾桥西侧、东侧 | 5.584%,3.636% | ||
SVM分类 | 白龙桥北侧、南侧 | 2.390%,2.028% | 3.448% |
岚湾桥西侧、东侧 | 5.584%,3.636% | ||
新方法 | 白龙桥北侧、南侧 | 2.364%,1.841% | 3.356% |
岚湾桥西侧、东侧 | 5.584%,3.435% |
表4. 基于ETM+数据的水体提取的客观评价
实验中NDWI、MNDWI的阈值取值大于0.3。NDWI和MNDWI模型公式分别为:
NDWI = ( G − NIR ) / ( G + NIR ) ,(G~绿光;NIR~近红外) (10)
MNDWI = ( G − SWIR ) / ( G + SWIR ) ,(G~绿光;SWIR~短波红外) (11)
从表中可看出,相比较水体指数法,决策树模型法、SVM分类法和WBEM-BDV新方法,水体提取的湖面宽与地面实际测量宽度最为接近,但决策树模型和SVM分类法的平均相对误差ARE稍劣于WBEM-BDV新方法,说明WBEM-BDV新方法具有一定的优势。
本文基于最新的昆虫生理学研究成果,在分析复眼视觉信息加工处理的神经通路基础上,建立了一种新的仿生蝇视觉“图形–背景”分辨的遥感影像水体提取模型(简称WBEM-BDV模型),模拟了视叶神经纤维网对于杂乱背景中“图形”的分割和辨识的神经计算过程。设计了初级视觉滤波、二次视觉滤波(SVF)和光谱特征与空域特征交叉相关的多光谱遥感影像特征提取算法。经SPOT-5和Landsat-7遥感百家湖水体信息提取的实验测试,并与传统的单波段阈值法、归一化差异水体指数NDWI模型、决策树模型和支持向量机SVM分类法等比较分析,人工目视判读和与地面实测的相对误差指标客观评价结果表明了本文所提出的WBEM-BDV新方法具有优越性。
本文得到南京工程学院科研基金(项目编号:ZKJ201907)的资助。
徐梦溪,施建强,沈克永,梁玉英. 受生物视觉“图形–背景”分辨机制启发的遥感影像水体信息提取方法Water Body Information Extraction Method from Remote Sensing Images Inspired by Biological Visual Mechanism of FB Discrimination[J]. 图像与信号处理, 2021, 10(04): 155-165. https://doi.org/10.12677/JISP.2021.104017