Geomatics Science and Technology
Vol. 07  No. 02 ( 2019 ), Article ID: 29657 , 11 pages
10.12677/GST.2019.72015

Position Consistency Correction of Revisit Mobile Laser Scanning Point Cloud in Urban Scene

Xianghong Zou, Bisheng Yang*, Jianping Li, Zhen Dong

State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan Hubei

Received: Mar. 20th, 2019; accepted: Apr. 4th, 2019; published: Apr. 11th, 2019

ABSTRACT

The Mobile Laser Scanning (MLS) point clouds play a very important role in national major engineering applications such as urban road asset management, high-definition driving map, rural homestead survey, highway reconstruction and expansion. However, owing to complex road environment, occluded positioning signal and time-accumulation of attitude error, the MLS point clouds collected by the back and forth scans or among multiple excursions in the same region often suffer misalignment ranging from sub-meter to meters, which impedes the subsequent processing and applications. To deal with the technical bottleneck mentioned above, a method of MLS point cloud position consistency correction in urban scene is proposed. Firstly, the MLS point clouds are divided into multi-scale sub-regions based on the acceleration and angular velocity of each trajectory point, and the overlap degree of revisited sub-regions is ensured at the same time. Secondly, binary shape context (BSC) features in sub-regions are extracted, and visual words and prior information are used to accelerate feature matching. Thirdly, pairwise registration of large and small revisited sub-regions is carried out in turn, and unreliable registration results are removed. The performance of the proposed method is evaluated on several challenging MLS point clouds with different deviation levels and different temporal, showing good robustness, accuracies and efficiencies.

Keywords:Urban Scene, Pairwise Registration, Position Consistency Correction, Mobile Laser Scanning Point Cloud

城市场景重访车载点云位置一致性改正

邹响红,杨必胜*,李健平,董震

武汉大学,测绘遥感信息工程国家重点实验室,湖北 武汉

收稿日期:2019年3月20日;录用日期:2019年4月4日;发布日期:2019年4月11日

摘 要

车载激光点云在城市道路资产管理、高精驾驶地图、农村宅基地调查、高速公路改扩建、智能交通等国家重大工程应用中发挥着非常重要的作用;然而,受道路环境复杂、定位信号受遮挡、定姿误差累积等影响,导致往返或不同时相的重访车载点云存在分米甚至米级的位置偏差,严重影响后续数据处理与应用。为解决上述技术瓶颈,本文提出一种城市场景重访车载点云位置一致性改正算法。首先,依据车载轨迹的加速度与角速度将车载点云数据进行层次化分段,同时保证重访段的重叠度;然后,提取分段内的二进制形状上下文(Binary Shape Context, BSC)特征,并依据视觉单词与先验信息加速同名BSC特征匹配;最后,依次进行重访粗分段和细分段点云的两两配准,并剔除不可靠的两两配准结果。实验表明,本文方法能有效改正城市场景重访车载点云中的位置不一致问题,对于不同偏差级别和时相的车载点云,具有很高的鲁棒性和时间效率。

关键词 :城市场景,两两配准,位置一致性改正,车载点云

Copyright © 2019 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

车载激光扫描系统可以高效率、高密度地获取道路环境的三维几何与纹理信息,为高分辨率对地观测提供了一种全新的技术手段。车载激光点云在城市道路资产管理、高精驾驶地图、农村宅基地调查、高速公路改扩建、智能交通等国家重大工程应用中发挥着非常重要的作用 [1] 。然而,受GNSS系统定位误差、IMU定姿误差、扫描仪测角和测距误差、多传感器安装误差、数据解算误差等的综合影响,车载激光点云的位置精度难以达到厘米级精度要求。特别是在高楼林立的城区,卫星信号遮挡严重、定位精度差,导致车载激光扫描系统往返和不同时相观测的点云之间存在分米甚至米级偏差,难以满足上述应用的精度需求 [2] [3] 。

在工程应用中,通常沿车载点云采集轨迹布设密集控制点,依据地面控制点改正车载点云的相对与绝对精度,但是存在控制点布设难度大、劳动力成本高、自动化水平低等问题 [4] 。针对重访车载点云中存在的位置不一致问题,学者进行了大量深入研究。现有方法可分为数据驱动和传感器驱动两类,数据驱动方法直接改正点云中的位置偏差,传感器驱动方法首先改正车辆轨迹的位置和姿态,然后重新解算点云数据。文献 [5] 依据轨迹关键点进行点云分段,并利用变种ICP [6] 进行分段点云间的两两配准,然后利用配准结果计算轨迹关键点的位姿,最后通过线性内插的方式获得每个轨迹点改正后的位姿。文献 [7] 首先检测车载点云中的闭合环,并利用闭合环约束改善其内部点云数据;然后利用相邻闭合环间的重叠区域改善点云数据整体质量。文献 [8] 提出一种基于位姿图的城市级点云建图方法,首先利用随机森林分类器和稳健的优化方法剔除不稳定的局部改正结果,并利用条件随机场识别和剔除动态目标,以消除动态物体对位置精度改善的负面影响。数据驱动方法利用重访点云中同名特征之间的一致性关系作为约束来改正点云位置精度 [9] [10] [11] ,该类方法假设误差在一定范围内呈线性分布,难以解决大偏差的非刚性形变 [12] 。文献 [13] 提出一种车载轨迹随时间变化的模型,利用地面控制点构建并解算该模型,从而改正轨迹误差。文献 [14] 将点云按时间均匀分段,并通过两步ICP算法得到准确的同名对应,再利用误差时变模型改正轨迹误差。文献 [15] 首先提取车载点云中不同尺度的地物目标,并利用多尺度ICP建立地物目标之间的对应关系,从而实现由粗到细的车载点云数据质量改善。该方法能够解决城市规模的车载点云数据位置一致性改正,但是其严重依赖于各类地物目标和特征提取的质量,在复杂城市场景中的可行性较差。基于“云控制”的思想,文献 [16] 首先把车载点云跟高分辨率航空影像密集匹配点云进行配准,然后根据同名点、GPS观测值、IMU观测值提供的多种约束提高车载点云位置精度。由于航空影像和车载点云的获取视角相差很大,在遮挡严重的城市场景很难找到共同观测,因此该方法在复杂城市场景中的鲁棒性较差。虽然上述方法在特定场景下取得了理想的效果,但仍然存在大量控制点依赖、适用性和鲁棒性差、无法解决大偏差的非刚性形变等局限性。

针对目前方法的缺陷,本文提出一种基于轨迹分段的重访车载点云位置一致性改正算法,主要贡献有:

1) 提出一种顾及点云误差分布特性的车载点云自适应分段方法,同时保证重访段间的重叠度,提高了车载点云分段的合理性;

2) 发展了一种视觉单词和先验信息约束的同名特征匹配算法,提高了同名特征匹配的效率和准确度;

3) 研究了一种由粗到细的车载点云两两配准策略,有效解决了重访车载点云存在的大偏差和非刚性形变等问题。

2. 方法

本文提出的城市场景重访车载点云位置一致性改正方法,主要分为顾及点云误差分布特性的自适应分段、视觉单词和先验信息约束的同名特征匹配、由粗到细的车载点云两两配准等3个步骤。城市场景重访车载点云位置一致性改正算法流程如图1

Figure 1. Algorithm flow chart

图1. 算法流程图

2.1. 顾及点云误差分布特性的车载点云自适应分段

为解决车载点云中存在的非刚性形变,需要将车载点云进行分段,假设段内点云不存在形变,纠正段间的非刚性形变,而车载点云中的位置偏差常常出现在采集车速度和方向急剧变化的地方,并且这些地方的误差是非线性分布的,因此可用速度和方向急剧变化的轨迹点将点云分段。此外,为解决大偏差和场景中对称性结构较多的情况,本文将细分段合并成粗分段,为后续由粗到细的两两配准提供支持。本文提出的顾及点云误差分布特性的车载点云自适应分段方法分4步:选择候选分段点、寻找重访分段点、筛选分段点、车载点云分段。

Figure 2. Algorithm flow chart of MLS point cloud division, (a) find segment points by acceleration, (b) find segment points by angular velocity, (c) find segment points by trajectory intersection, (d) insert new segment points if two segment points are far away from each other, (e) candidate segment points, (f) find revisited segment points, (g) screen candidate segment points, (h) obtain large sub-regions by merging small sub-regions, (i) legend

图2. 车载点云分段算法流程图,(a)依据加速度寻找分段点,(b)依据角速度寻找分段点,(c)依据轨迹交点寻找分段点,(d)当相邻分段点间距过大时,在中间插入新的分段点,(e)所有候选分段点,(f)寻找重访分段点,(g)筛选分段点,(h)合并细分段,产生粗分段,(i)图例

1) 选择候选分段点:

计算轨迹点的加速度和角速度,加速度Qa大于阈值ath的轨迹为速度变化点,即 Q a = { q j | | v j v j 1 | / ( t j t j 1 ) a t h } ,其中qi为一轨迹点,其速度 v j = q j q j 1 / ( t j t j 1 ) ;角速度Qo大于阈值 的轨迹点为角度变化点,即 Q o = { q j | ( φ j φ j 1 ) / ( t j t j 1 ) ω t h } ,其中 φ j 为轨迹点 q j 的航向角。记 q a s t a r t q a e n d 分别为连续速度变化轨迹段的首尾轨迹点, q o s t a r t q o e n d 分别为连续角度变化轨迹段的首尾轨迹点,分别沿轨迹向外扩展一定距离 d t h 1 ,取该处轨迹点为候选分段点,如图2(a)和图2(b)。寻找轨迹的交点 q c r o s s ,沿轨迹向外扩展一定距离 d t h 2 ,取该处轨迹点为候选分段点,如图2(c)。当相邻候选分段点间隔大于 d e q 时,取中点处的轨迹点为新增候选分段点,如图2(d)。

2) 寻找重访分段点:

对于每个候选分段点,寻找半径阈值dc内最近的轨迹点,候选分段点到该轨迹点间的轨迹距离必须大于一定距离di,满足上述条件时,将寻找到的轨迹点作为候选分段点的重访分段点,如图2(f)。寻找重访分段点的目的在于使重访分段间的重叠度最大,使得后续两两配准更为鲁棒。

3) 筛选分段点:

步骤1)和2)找到的候选分段点分布可能不均匀,在交叉路口附近的分段点可能会过于密集,因此,需要在候选分段点中筛选得到最终的分段点。首先,删除轨迹交点中间的候选分段点,然后以一定间隔di将轨迹均匀分段,每段内最多保留一个分段点,且优先保留成对的分段点,如图2(g)。

4) 车载点云分段:

依据步骤3)得到的分段点,将车载点云进行分段,得到的分段为细分段,再将细分段按长度阈值dlarge合并得到粗分段,如图2(h)。

2.2. 视觉单词和先验信息约束的同名特征匹配

本文计算二进制形状上下文(Binary Shape Context, BSC)特征 [17] 用于点云局部特征描述和同名特征匹配,为提高匹配的效率和准确度,本文提出视觉单词和先验信息约束的特征匹配方法。

1) 先验信息加速特征匹配:

暴力匹配和使用视觉单词加速的特征匹配方法只考虑了特征间的相似性,没有考虑特征点的位置约束。因此,可以依据重访车载点云初始位置和位置精度信息缩小特征搜索范围,进而提高特征匹配的准确度和效率。粗分段的BSC特征搜索半径依据车载点云初始位置精度确定,细分段的特征搜索半径依据粗分段两两配准后同名点距离残差确定。

2) 视觉单词加速特征匹配:

首先,用k-means算法对提取的BSC特征进行聚类,每个类作为视觉单词 [18] ;然后,对于源点云中的每个特征点,检索目标点云中具有相同视觉单词的特征点集合;最后,找到特征点集合中最相似的特征点。该方法可以排除大量完全不相似的目标特征,提高特征匹配效率。

2.3. 由粗到细的车载点云两两配准

当车载点云中位置偏差较大或存在对称性场景时,两两配准不够鲁棒。为解决该问题,本文提出一种由粗到细的两两配准方法。该方法分为3步:重访段探测、粗分段两两配准、细分段两两配准,如图3。粗分段的优点是能成功探测大偏差车载点云中的重访段,提高对称性场景中同名特征匹配准确度,缺点是段内非刚性形变较大;细分段的优点是段内非刚性形变小,满足段内刚性形变假设,缺点是提取到的特征少,对称性场景下同名特征匹配准确度低。因此,需要结合两者的优点,先进行粗分段两两配准,再进行细分段两两配准,从而提高算法对大偏差和对称性场景的鲁棒性。

Figure 3. (a) Large revisited sub-regions, (b) Small revisited sub-regions. PC0 and PC1 are large revisited sub-regions, and PCi and PCj are small revisited sub-regions

图3. (a)重访粗分段,(b)重访细分段,PC0与PC1为重访粗分段,PCi与PCj为重访细分段

1) 重访段探测:

车载轨迹精度较高,重访点云段的位置偏差一般较小,可直接依据包围盒是否相交判断两段是否重访 [19] 。由于后续会剔除不可靠的两两配准结果,探测重访段只需保证没有重访段被遗漏。

2) 粗分段两两配准:

先提取所有重访分段的BSC特征,依据2.2方法进行同名特征匹配,剔除同名特征少于Nfeature的重访粗分段,再依据BSC同名特征集合,计算重访粗分段点云间的相对位姿与同名点对的均方根误差,剔除同名点对中外点比率过大的两两配准结果。

3) 细分段两两配准:

将粗分段点云两两配准结果传递给细分段点云,利用粗分段两两配准结果(相对位姿与均方根误差)重新进行BSC特征匹配,剔除同名特征少于Nfeature的重访细分段,再依据BSC同名特征集合,计算重访细分段点云间的相对位姿与同名点对的均方根误差,剔除同名点对中外点比率过大的两两配准结果。

3. 实验

3.1. 实验描述

本文使用3份重访车载点云数据验证本文方法的有效性。数据1长度约1.1 km,包含1.2亿点,最大偏差约0.24 m;数据2长度约0.85 km,包含1.57亿点,最大偏差约0.62 m;数据3长度约0.65 km,包含1.57亿点,最大偏差约0.89 m。数据1、2、3的俯瞰图如图4,实验参数及取值如表1。本文实验使用处理器为Intel(R) Core(TM) i7-6700HQ CPU @ 2.60 GHz 2.59 GHz,内存为16 GB。

Figure 4. Overview of experimental data, (a) data 1, (b) data 2, (c) data 3

图4. 实验数据俯瞰图,(a)数据1,(b)数据2,(c)数据3

Table 1. Parameter setting of experiments

表1. 实验参数设置

3.2. 实验结果

3.2.1. 重访车载点云自适应分段结果

图5为数据2自适应分段结果,蓝色为车载轨迹,彩色为分段点云。由图可知,本文通过搜寻重访分段点使得往返车载点云基本在相同位置分段,重访段有很大的重叠度,保证了后续两两配准的鲁棒性,实验结果充分验证了本文提出的重访车载点云自适应分段方法的有效性与合理性。

Figure 5. Result of point cloud division, (a) MLS trajectory(blue color), (b) Divided point clouds

图5. 点云分段结果,(a)车载轨迹(蓝色),(b)分段点云

3.2.2. 视觉单词和先验信息约束的同名特征匹配结果

暴力匹配、视觉单词和本文方法的同名特征匹配结果如图6,定量评价结果如表2。由图表可知,暴力匹配效率最低,同名特征匹配准确度较先验位置精度信息约束的同名特征匹配差,视觉单词约束的同名特征匹配效率较高,但同名特征匹配准确度最低,本文方法的同名特征匹配效率和准确度都最高。实验表明,本文提出的依据经验或先验位置精度信息约束的同名特征匹配方法显著提高了同名特征匹配的准确度和效率。

Figure 6. Coarse pairwise registration result based on different feature matching methods, (a) registration result based on Brute Force feature matching, (b) registration result based on feature matching accelerated by visual words, (c) registration result based on feature matching accelerated by prior position accuracy information

图6. 基于不同特征匹配方法的两两粗配准结果,(a)基于暴力匹配的配准结果,(b)基于视觉单词加速的特征匹配方法的配准结果,(c)基于先验位置精度信息加速的特征匹配方法的配准结果

Table 2. Pairwise result of experiments based on different feature matching methods

表2. 基于不同特征匹配方法的两两配准结果

3.2.3. 由粗到细的车载点云两两配准结果

3份车载点云两两配准结果分别如图7~9,定量评价结果如表3。如图所示,3份重访车载点云经由粗到细的两两配准后,位置不一致问题得到显著改善。数据1最大偏差约为0.241 m,改正后减小至0.145 m;数据2最大偏差约为0.622 m,改正后减小至0.164 m;数据3最大偏差约为0.886 m,改正后减小至0.205 m;实验表明,本文方法能有效改正重访车载点云中的位置不一致问题。

Figure 7. Pairwise registration result of data 1, (a) Original point cloud, (b) Registered point cloud

图7. 数据1的两两配准结果,(a)原始点云数据,(b)配准后点云数据

Figure 8. Pairwise registration result of data 2, (a) Original point cloud, (b) Registered point cloud

图8. 数据2的两两配准结果,(a)原始点云数据,(b)配准后点云数据

Figure 9. Pairwise registration result of data 3, (a) Original point cloud, (b) Registered point cloud

图9. 数据3的两两配准结果,(a)原始点云数据,(b)配准后点云数据

Table 3. Pairwise result of experiments

表3. 两两配准结果

实验表明,本文顾及点云误差分布特性的车载点云自适应分段方法,通过搜寻重访分段点保证了重访段间重叠度,通过粗细分段为后续由粗到细的两两配准策略提供了支持;视觉单词和先验信息约束的同名特征匹配方法,通过视觉单词和先验信息缩小特征搜索范围,提高了同名特征匹配的准确度和效率;由粗到细的两两配准策略,通过粗分段两两配准给细分段两两配准提供良好初值,提高了对特征稀疏、结构对称、位置偏差大等场景的适应性,能有效解决不同偏差级别的重访车载点云中的位置不一致问题。

4. 结论

本文提出了一种城市场景重访车载点云位置一致性改正的方法。提出顾及点云误差分布特性的车载点云自适应分段方法,保证重访段间重叠度和提高车载点云分段的合理性;研究视觉单词和先验信息约束的同名特征匹配方法,提高同名特征匹配的准确度和效率;发展由粗到细的车载点云两两配准策略,解决不同偏差级别重访车载点云中的位置不一致问题。实验表明,本文方法能有效解决城市场景重访车载点云的位置不一致问题,特别是对于大偏差的车载点云数据,该方法高效鲁棒。但是,本文方法也有不足之处,该方法直接纠正点云中的位置偏差,没有在两两配准结果的基础上进行整体优化。后续研究将解决上述问题,完善现有车载点云位置一致性改正算法,提高算法的改正精度和鲁棒性。

基金项目

国家自然科学基金杰出青年基金,项目编号:41725005。

文章引用

邹响红,杨必胜,李健平,董震. 城市场景重访车载点云位置一致性改正
Position Consistency Correction of Revisit Mobile Laser Scanning Point Cloud in Urban Scene[J]. 测绘科学技术, 2019, 07(02): 101-111. https://doi.org/10.12677/GST.2019.72015

参考文献

  1. 1. Kukko, A. (2013) Mobile Laser Scanning-System Development, Performance and Applications. Finnish Geodetic Institute.

  2. 2. Xu, S., Cheng, P., Zhang, Y., et al. (2015) Error Analysis and Accuracy Assessment of Mobile Laser Scanning System. Open Automation & Control Systems Journal, 7, 485-495. https://doi.org/10.2174/1874444301507010485

  3. 3. Yang, B.S., Dong, Z., Liu, Y., et al. (2017) Computing Multiple Aggregation Levels and Contextual Features for Road Facilities Recognition Using Mobile Laser Scanning Data. ISPRS Journal of Photogrammetry and Remote Sensing, 126, 180-194. https://doi.org/10.1016/j.isprsjprs.2017.02.014

  4. 4. 李峰, 余志伟, 董前林, 等. 车载激光点云数据精度的提高方法[J]. 图书情报导刊, 2011, 21(9): 123-125.

  5. 5. Takai, S., Date, H., Kanai, S., et al. (2013) Accurate Registration of MMS Point Clouds of Urban Areas Using Trajectory. https://doi.org/10.5194/isprsannals-II-5-W2-277-2013

  6. 6. Besl, P.J. and McKay, N.D. (1992) A Method for Registration of 3-D Shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 14, 239-256. https://doi.org/10.1109/34.121791

  7. 7. Shiratori, T., Berclaz, J., Harville, M., et al. (2015) Efficient Large-Scale Point Cloud Regis-tration Using Loop Closures. 2015 International Conference on 3D Vision, Lyon, 19-22 October 2015, 232-240.

  8. 8. Yang, S., Zhu, X.L., Nian, X., et al. (2018) A Robust Pose Graph Approach for City Scale LiDAR Mapping. https://doi.org/10.1109/IROS.2018.8593754

  9. 9. Habib, A., Kersting, A.P., Bang, K.I., et al. (2010) Alternative Methodologies for the Internal Quality Control of Parallel LiDAR Strips. IEEE Transactions on Geoscience and Remote Sensing, 48, 221-236. https://doi.org/10.1109/TGRS.2009.2026424

  10. 10. Lee, J., Yu, K., Kim, Y., et al. (2007) Adjustment of Discrepancies Between LIDAR Data Strips Using Linear Features. IEEE Geoscience and Remote Sensing Letters, 4, 475-479. https://doi.org/10.1109/LGRS.2007.898079

  11. 11. Rentsch, M. and Krzystek, P. (2012) LiDAR Strip Adjustment with Automatically Reconstructed Roof Shapes. The Photogrammetric Record, 27, 272-292. https://doi.org/10.1111/j.1477-9730.2012.00690.x

  12. 12. Maas, H. (2002) Methods for Measuring Height and Planimetry Dis-crepancies in Airborne Laser Scanner Data. Photogrammetric Engineering and Remote Sensing, 68, 933-940.

  13. 13. Han, J.Y., Chen, C.S. and Lo, C.T. (2013) Time-Variant Registration of Point Clouds Acquired by a Mobile Mapping System. IEEE Geoscience & Remote Sensing Letters, 11, 196-199. https://doi.org/10.1109/LGRS.2013.2252417

  14. 14. Yan, L., Tan, J., Liu, H., et al. (2018) Automatic Non-Rigid Registration of Multi-Strip Point Clouds from Mobile Laser Scanning Systems. International Journal of Remote Sensing, 39, 1713-1728. https://doi.org/10.1080/01431161.2017.1410248

  15. 15. Yu, F., Xiao, J. and Funkhouser, T. (2015) Semantic Alignment of LiDAR Data at City Scale. IEEE Conference on Computer Vision and Pattern Recognition, Boston, 7-12 June 2015, 1722-1731. https://doi.org/10.1109/CVPR.2015.7298781

  16. 16. Zille, H., Sander, O.E. and George, V. (2018) An Automatic Procedure for Mobile Laser Scanning Platform 6DOF Trajectory Adjustment. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 42, 203-209. https://doi.org/10.5194/isprs-archives-XLII-1-203-2018

  17. 17. Dong, Z., Yang, B., Liu, Y., et al. (2017) A Novel Binary Shape Context for 3D Local Surface Description. ISPRS Journal of Photogrammetry and Remote Sensing, 130, 431-452. https://doi.org/10.1016/j.isprsjprs.2017.06.012

  18. 18. Nistér, D. and Stewénius, H. (2006) Scalable Recognition with a Vocabulary Tree. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 17-22 June 2006, 2161-2168.

  19. 19. Gressin, A., Cannelle, B., Clément, M., et al. (2012) Trajectory-Based Registration of 3D Lidar Point Clouds Acquired with a Mobile Mapping System. ISPRS Annals of Photogrammetry, Remote Sensing and the Spatial Information Sciences, 117-122.

  20. NOTES

    *通讯作者。

期刊菜单