利用最小二乘估计的观测向量标准化残差计算信息扩散函数值并构造权阵进行抗差估计。该方法由于事先根据标准化残差估计了残差的实际分布,从而无需任何迭代过程即可获得包含粗差信息的观测值的可靠权阵。试验结果表明:当观测向量中包含粗差时,利用信息扩散函数计算的相应观测量的权值相对较小,从而抑制了粗差的影响。与IGG方案以及拟准检定法相比,新方法仍能取得较好抗差估计结果。 A robust estimation method based on weighting with the information diffusion function value being calculated by the standardized residuals of the observation vectors of least squares estimation is proposed. Compared with the classical robust estimation methods based on mean shift model or variance expansion model, the new method estimates the actual distribution of the residual in advance according to the standardized residual, so that the reliable weight matrix of the observed value containing gross error information can be obtained without any iteration process. The experimental results show that when gross errors are included in the observation vectors, the weights of the corresponding observations calculated by the information diffusion function are relatively smaller than those of others; thus the effect of gross errors is weakened. Compared with IGG schemes and quasi-accurate detection method, the new method can still achieve better robust results.
利用最小二乘估计的观测向量标准化残差计算信息扩散函数值并构造权阵进行抗差估计。该方法由于事先根据标准化残差估计了残差的实际分布,从而无需任何迭代过程即可获得包含粗差信息的观测值的可靠权阵。试验结果表明:当观测向量中包含粗差时,利用信息扩散函数计算的相应观测量的权值相对较小,从而抑制了粗差的影响。与IGG方案以及拟准检定法相比,新方法仍能取得较好抗差估计结果。
粗差,标准化残差,信息扩散,抗差估计,拟准检定法
Kangyu Huang1, Jun Zhang1*, Yixu Li2
1College of Mining, Guizhou University, Guiyang Guizhou
2College of Agriculture, Guizhou University, Guiyang Guizhou
Received: Aug. 3rd, 2020; accepted: Aug. 25th, 2020; published: Sep. 2nd, 2020
A robust estimation method based on weighting with the information diffusion function value being calculated by the standardized residuals of the observation vectors of least squares estimation is proposed. Compared with the classical robust estimation methods based on mean shift model or variance expansion model, the new method estimates the actual distribution of the residual in advance according to the standardized residual, so that the reliable weight matrix of the observed value containing gross error information can be obtained without any iteration process. The experimental results show that when gross errors are included in the observation vectors, the weights of the corresponding observations calculated by the information diffusion function are relatively smaller than those of others; thus the effect of gross errors is weakened. Compared with IGG schemes and quasi-accurate detection method, the new method can still achieve better robust results.
Keywords:Gross Error, Standardized Residuals, Information Diffusion, Robust Estimation, Quasi-Accurate Detection Method
Copyright © 2020 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
无论是传统模拟测量还是现代数字化测量技术采集的数据,粗差都在所难免,而当平差系统含有粗差时,经典最小二乘估计由于不具备抵抗粗差的能力而使其应用受到极大限制。针对粗差处理,自上世纪60年代以来,提出了很多方法。归纳起来,这些方法大致可分为三类,第一类是均值漂移模型 [
设母体 K 的概率密度函数为 f ( x ) , W 为给定的来自母体 K 的样本。当由 W 不能完全精确地认识 f ( x ) 时,称
设 W = { w 1 , w 2 , w , 3 ⋯ , w n } 是知识样本,Y是基础论域。设 x = Φ ( y − y i ) ,则当 W 非完备时,存在函数 μ ( x ) ,使点 y i 获得的量值为1的信息可按 μ ( x ) 的量值扩散到 y j ( j ≠ i ) 上去,且扩散所得到的原始信息分布 Q ( y ) = ∑ μ [ Φ ( y − y i ) ] 能更好地反映 W 所在总体的规律。若设 μ ( x ) 为定义在 ( − ∞ , + ∞ ) 上的一个波雷尔可测函数, Δ n > 0 为常数,则称
f ( y ) = 1 n Δ n ∑ i = 1 n μ [ Φ ( y − y i Δ n ) ] (1)
为母体概率密度函数 f ( y ) 的一个扩散估计,式中 μ ( ⋅ ) 称为扩散函数, Δ n 称为窗宽。
由(1)式知,实现母体概率密度函数 f ( y ) 的扩散估计的关键是 μ ( ⋅ ) 的具体形式难以确定,当考虑样本分布符合正态分布时,可借用分子扩散理论导出正态扩散函数为 [
μ ( x ) = 1 σ 2 π exp ( − x 2 2 σ 2 ) (2)
由此,将(2)式带入(1)式可得母体概率密度函数的正态扩散估计为
f ( y ) = 1 n h 2 π ∑ i = 1 n exp ( − ( y − y i ) 2 2 h 2 ) (3)
上式中 h = σ Δ n 为窗宽,一般可根据择近原则导出的以下经验公式确定 [
h = α ( b − a ) n − 1 (4)
其中 a = min ( y i ) , b = max ( y i ) , i = 1 , 2 , ⋯ , n ; a是n的函数,具体随n取值变化情况参见文献 [
由上文可知,信息扩散估计本身一般只适合于一维参数估计,且要求样本具有相同的数学期望,而测量中的参数估计几乎全是多维参数估计的情况,且常常因为观测量种类不同,数学期望既不相同也难以比较,这样就制约了信息扩散估计在测量数据处理中的应用。文献 [
1) 针对原始观测值,令观测权阵为单位阵(如有确切先验权阵,可采用先验权阵)建立经典高斯-马尔科夫模型,利用最小二乘估计获得观测值的标准化残差向量;
2) 利用式(2)和式(3)估计标准化残差V的概率密度函数 f ( v ) ,即
f ( v ) = 1 n h 2 π ∑ i = 1 n exp ( − ( v − v i ) 2 2 h 2 ) (5)
3) 用标准化残差的概率密度函数代替观测值概率密度函数计算观测值的权 p l ,即
p l i = f ( l i ) ∑ i = 1 n f ( l i ) = f ( v i ) ∑ i = 1 n f ( v i ) (6)
4) 利用步骤(3)中确定的权值再次进行最小二乘估计获得参数的抗差解 X ^ ,即
X ^ = ( B T P B ) − 1 B T P L (7)
式中B为高斯–马尔科夫模型的系数矩阵,L为观测向量, P = diag ( p l 1 , p l 2 , ⋯ , p l n ) 。
本文算例来自文献 [
方案1:采用模拟粗差后的18个观测值,按最小二乘进行平差处理;
方案2:采用模拟粗差后的18个观测值,按IGGIII进行平差处理;
方案3:采用模拟粗差后的18个观测值,按拟准检定法进行平差处理;
方案4:采用模拟粗差后的18个观测值,按本文方法进行平差处理。
以上各方案计算结果见表3,表3中 X ^ = [ x ^ P 1 , y ^ P 1 , x ^ P 2 , y ^ P 2 ] T 为未知点P1和P2的坐标改正数, ‖ Δ X ^ ‖ = ‖ X ^ − X 真 ‖ 为各方案参数估值与参数真值(本文参数真值取文献 [
点名 | 坐标(m) | 边长 | 坐标方位角 | |
---|---|---|---|---|
X | Y | ′ ″ | ||
A | 9684.28 | 43,836.82 | ||
B | 10,649.55 | 31,996.50 | 11,879.60 | 2,743,938.4 |
C | 19,063.66 | 37,818.86 | 10,232.16 | 344,056.3 |
D | 17,814.63 | 12,168.60 | 955,329.1 | |
A | 10,156.11 | 2,164,906.5 |
表1. 起算数据
图1. 测角控制网示意图
角度编号 | 观测值 | 角度编号 | 观测值 | 角度编号 | 观测值 |
---|---|---|---|---|---|
°′″ | °′″ | °′″ | |||
1 | 1,261,424.1 | 7 | 220,243.0 | 13 | 463,856.4 |
2 | 233,946.9 | 8 | 1,300,314.2 | 14 | 663,454.7 |
3 | 300,546.7 | 9 | 275,359.3 | 15 | 664,608.2 |
4 | 1,172,246.2 | 10 | 655,500.8 | 16 | 295,835.5 |
5 | 312,650.0 | 11 | 670,249.4 | 17 | 1,200,831.1 |
6 | 311,022.6 | 12 | 470,211.4 | 18 | 295,255.4 |
表2. 角度观测值
采用方案 | ‖ Δ X ^ ‖ ( dm ) | |
---|---|---|
X 真 | [ − 0.1030 , 2.3208 , − 1.2069 , − 0.5348 ] T | 0 |
方案1 | [ 0.1417 , 1.6421 , − 1.4351 , − 0.8956 ] T | 0.8384 |
方案2 | [ − 0.3514 , 1.7887 , − 0.9155 , − 0.5535 ] T | 0.6558 |
方案3 | [ − 0.1198 , 1.9768 , − 1.1492 , − 0.6181 ] T | 0.3590 |
方案4 | [ − 0.0935 , 2.3128 , − 1.0421 , − 0.5298 ] T | 0.1654 |
表3. 各方案参数估计结果
1) 结果描述:从表3参数估计结果来看,方案1参数估计结果与真值相差甚远,其结果是扭曲的,说明最小二乘估计不具备抵抗粗差的能力;方案2和方案3与最小二乘估计结果相比,都一定程度的削弱了粗差对参数估计结果的影响,方案4参数估计结果与真值最接近,抗差效果最好。从方案2、方案3和方案4参数估计与参数真值差值的范数分别等于0.6558、0.3590和0.1654来看,整体上抗差效果由好到差排列顺序依次为方案4、方案3和方案2;
2) 结果分析:方案4采用最小二乘估计残差标准差计算信息扩散函数值并利用式(6)近似计算观测值的权,相当于利用残差的真实分布定权,即便是某些观测值中包含粗差,其偏离正态分布的实际情况也会在信息扩散函数中体现,也就是说通过信息扩散函数定权方法能够较好地顾及粗差影响;IGG抗差估计核心是通过选权迭代过程实现的,其理想情况是若残差小于某一限值(本文取1.5倍验后中误差)则相应观测值的权不改变,若介于某一区间,则给予降权处理,若大于某一限值(本文取2.5倍验后中误差),则对相应观测值给予零权处理(即删除不用)。然而,上述选权迭代过程中,观测值权值会受最小二乘估计“均摊”效应影响而失真,即具有相对较小残差的观测值未必不含粗差,反之大残差也未必真包含粗差。不仅如此,这种“均摊”效应在迭代过程中还可能发生转移,这使得观测值定权具有了不确定性,观测值的最终权值是多次“均摊”和“转移”的结果;拟准检定法结果优于IGG方案,主要是因为拟准检定法在迭代过程中采用真误差的分群特性确定拟准观测值,而真误差是没有误差的,相对于IGG方案减少了不确定因素,但拟准检定法仍然会受初始“拟准观测值”选择不准确的影响,意即尽管拟准检定法在迭代过程中利用真误差分群特征确定“拟准观测值”,但在实施之初也同样会受最小二乘“均摊”效应影响而无法准确确定初始拟准观测,而这种影响会延续至后续过程。
如何处理受到粗差污染的观测数据一直是测量平差的重要研究内容之一。本文首先利用最小二乘估计的观测值标准化残差计算信息扩散函数,解决了多维不同类观测量难以利用信息扩散估计进行数据处理的难题,然后利用标准化残差的信息扩散估计值构造观测值的权阵再进行最小二乘平差,结果表明这是一种成功的抗差估计方法:与IGG方案以及拟准检定粗差处理方法相比,信息扩散估计根据残差实际分布定权,较好地避免了最小二乘估计残差的“均摊”效应影响,不仅可以起到良好的抗差作用,而且还可以一定程度地保留含有粗差的观测值信息,并且不需要任何迭代过程,是一种良好的抗差估计方法。
贵州省科学技术基础研究计划项目(黔科[
黄康钰,张 俊,李屹旭. 基于信息扩散函数定权的抗差估计及其应用Robust Estimation Based on Weighting of Information Spreading Model and Its Application[J]. 应用数学进展, 2020, 09(09): 1358-1363. https://doi.org/10.12677/AAM.2020.99161