 Hans Journal of Civil Engineering 土木工程, 2013, 2, 20-25 http://dx.doi.org/10.12677/hjce.2013.21004 Published Online February 2013 (http://www.hanspub.org/journal/hjce.html) Research and Experiment of Underground Engineering Augment Reality Based on ARToolkit Chaoyi Zhu, Xiaojun Li, Wenbo Zheng, Shuai Wang Tongji University, Shanghai Email: randy_zcy@126.com Received: Dec. 21st, 2012; revised: Jan. 10th, 2013; accepted: Jan. 18th, 2013 Abstract: Augmented Reality technology is still blank in underground engineering applications. This paper analysised the whole process of augment reality on the basis of ARToolkit, conducted indoor mod el experiment. Aim at the specific application characteristics of the environment in underground engineering, improved the system from camera internal and external parameters, finally conducted simulation experiment in cooridor. Keywords: Augmented Reality; Underground Engineering; ARToolkit 基于 ARToolkit 的地下工程增强现实研究和试验 朱超翼，李晓军，郑文博，王 帅 同济大学，上海 Email: randy_zcy@126.com 收稿日期：2012 年12 月21 日；修回日期：2013 年1月10 日；录用日期：2013 年1月18 日 摘 要：增强现实技术在地下工程的应用领域中尚属空白，本文以ARToolkit 平台为基础，对实现增强现实的 全过程进行分析，进行室内模型试验。针对地下工程中的特殊应用环境特点从摄像机内参和外参两方面改进系 统，最后结合头盔显示器在室内走廊进行了模拟试验。 关键词：增强现实；地下工程；ARToolkit 1. 引言 随着信息技术的飞速发展，地下工程的数字化信 息化也蓬勃发展。近几年来，国内外的许多学者在地 下空间数字化[1]领域做了大量的研究，并在一些重大 工程中实现数字化的初步应用。朱合华[2]最早提出了 数字地层的概念，刘伟涛等人[3]将数字化信息技术应 用与隧道工程中。接着，三维地层信息系统、城市地 下空间开发与规划数字化等新概念陆续提出。然而， 随着虚拟现实技术的进一步应用，其暴露出建模量巨 大、更新不及时、仅人机交互等缺点。针对上述问题， 增强现实技术发展起来了，增强现实技术能够充分利 用真实世界的场景，并且用计算机产生的虚拟信息来 增强对真实世界的认识。然而纵观国内外研究，对增 强现实技术在地下工程中的研究与应用尚处于空白， 对地下工程中增强现实应用存在的问题也缺乏认识。 本文以地下工程中的盾构隧道为背景，开展增强 现实技术应用研究与室内试验。本文首先介绍增强现 实技术的相关概念，其次介绍了基于 ARToolkit 的盾 构隧道增强现实系统的实现过程和模型试验，接着分 析影响因素并进行了相应的改进，最后在室内走廊进 行了模拟试验。 2. 增强现实技术 增强现实技术[4]是上世纪 90 年代初新兴的可视 Copyright © 2013 Hanspub 20  基于 ARToolkit 的地下工程增强现实研究和试验 化技术的一种，是随着虚拟现实技术的迅速发展应用 而出现的实时地计算摄影机影像的位置及角度并加 上相应图像的技术，即一种将真实世界与虚拟世界无 缝匹配的技术。增强现实由用户看到的真实场景和计 算机生成的虚拟景物组合而成，相对于虚拟现实技 术，增强现实技术具有虚实结合、实时交互、三维注 册的特点。开发增强现实系统的难点在于如何实时、 精确地获取摄像机相对真实世界的位置和姿态，使得 虚拟场景能够与真实世界无缝融合(三维注册[5,6])。增 强现实的最终目标是生成一个真实场景和虚拟场景 完全融合的场景，用户感觉不到哪些是真实的，哪些 是虚拟的，而认为自己看到的是一个完全真实的场 景。 3. 基于 ARToolkit 的盾构隧道增强现实 系统 3.1. 系统原理 ARToolkit[7,8]是一套基于 C语言及 OpenGL的AR 系统开发工具包，以非线性成像摄像机为基本模型， 通过对标志物进行视觉检测计算坐标转换矩阵实习 注册，并通过 OpenGL 将虚拟信息渲染到视频流中输 出，具体流程如图 1所示。 该系统具体实现过程如下： 1) 初始化摄像机 ARToolkit默认的摄像机属性在 camera_para.dat 中，但默认的参数范围较宽不利于精度要求，故使用 摄像机前最好对其进行参数标定，而且由于其采用非 线性的成像模型，故采用两步标定法，图2为两步标 定法获取摄像机内参。 2) 标志物识别 摄像机获取图像后，ARToolkit 就开始逐帧对图 像进行标志物提取并与模板库中的标志物进行匹配。 具体原理就是 ARToolkit 先把输入的彩色图像二值化 变为黑白图像，然后依靠输入的标志物特征识别阈值 (threshold)区分识别出图像中的所有四边形区域作为 候选匹配区域，再依次将每个区域与模板库中的标志 Figure 1. The overall work flow chart of ARToolkit 图1. ARToolkit整体工作流程图 Figure 2. Two-step calibration method 图2. 两步标定法 Copyright © 2013 Hanspub 21  基于 ARToolkit 的地下工程增强现实研究和试验 物模板进行匹配[9]，如果匹配成功，则能顺利进行下 一步注册矩阵计算，如果没有成功，则继续下一帧图 像输入，直到找到匹配标志物。 3) 注册矩阵计算 有了摄像机的内参和标志物的信息就可以计算 标志物坐标系到摄像机坐标系的转换矩阵，即摄像机 外参。系统通过标志物的四条边和四个顶点来计算摄 像机在世界坐标系(即以标志物中心为原点的真实世 界坐标系)中的转换矩阵，文献[10,11]都详细讲解了 ARToolkit如何计算转换矩阵，完成注册过程。 4) 渲染输出 求出注册转换矩阵后，ARToolkit 调用 OpenGL 的函数库，将 3 × 4的转换矩阵变为 OpenGL 格式的 一组 1 × 16的数组。这个 3 × 4的转换矩阵是真实摄 像机与 marker 点之间的转换矩阵，利用这 16个值可 以再调用 OpenGL 函数生成一个虚拟的摄像机，而且 这个摄像机的视角、位置、焦距等参数跟真实摄像机 是完全相同的，所以用这个虚拟摄像机里面拍摄到的 虚拟物体看起来和真实标记点固定在一块。然后在 draw函数里面调用 OpenGL 函数，设置虚拟坐标里的 灯光、虚拟物体的材质及其绘制虚拟物体。 3.2. 室内模型试验 试验以 ARToolkit的simpletest.c 程序代码为基础 进行二次开发，程序流程图见图 3。计算机为 dell XT2， 运行环境为 Windows7，所用到的虚拟模型建模语言 为OpenGL，程序编译环境为 Visual Studio 2008，所 用摄像头为罗技Pro9000 摄像头，以一个直径为30 cm 的半圆形盾构隧道模型为对象展开试验。在程序里， 用OpenGL 语言建立应力应变、变形、钢筋等隧道模 型，并以云图、半透视图像等形象化的手段展示出来 如图 4~7。 4. 系统改进和走廊试验 模型试验中的叠加精度和效果很好，但是在将系 统应用到室内走廊时发现系统叠加效果较差，虚拟模 型和真实环境没有友好的融合，如图 8。因此，本节 通过改进系统的影响因素来提升精度。 4.1. 系统的改进 根据上一节的试验研究，针对 ARToolkit 的流程， 提出措施来提升增强现实系统的精度。ARToolkit流 程中最核心的步骤是计算转换矩阵，即真实摄像机与 标志物之间的转换矩阵，然后将转换矩阵变为 OpenGL格式的一组 1 × 16的数组，利用这 16个值可 以再调用 OpenGL 函数生成一个虚拟的摄像机，而且 这个摄像机的焦距、畸变系数、图像中心点坐标、视 角、位置等参数跟真实摄像机是完全相同的，所以用 这个虚拟摄像机里面拍摄到的虚拟物体看起来和真 实标记点固定在一块。从中不难发现，获取的真实摄 像机的焦距、畸变系数、图像中心点坐标、视角、位 置等参数直接影响了系统的精度。对应到ARToolkit 流程中，焦距、畸变系数、图像中心点坐标是在相机 标定内参过程中确定的，而视角、位置则在计算注册 矩阵中确定，也就是相机的外参。而且在注册矩阵的 计算过程中还用到了相机的内参矩阵，导致外参的计 算过程中还有一个累加误差，因此相机内参的准确测 定尤为重要。 Figure 3. Flow chart of program 图3. 程序流程图 Copyright © 2013 Hanspub 22  基于 ARToolkit 的地下工程增强现实研究和试验 Figure 4. Stress cloud of tunnel segment Figure 7. Soil information in front of tunnel 图7. 隧道前方土层信息 图4. 隧道管片应力(变)云图 Figure 8. Result of corridor experiment 图8. 走廊试验结果 ARToolkit 自带的 itech_Pro9000 摄 头进行内参标定。标定过程中，发现 ARToolKit 系 机内参标定方 法。使 Figure 5. Deformation of tunnel segment 图5. 隧道管片变形图 Figure 6. Steel structure of tunnel segment 4.1.1. 改进摄像头内参 的摄像机内参被放在摄像机 属性 图6. 隧道管片内部钢筋构造 ARToolkit软件默认 文件 camera_para.dat中，它是在程序开始运行时 被读入的。默认的参数提供了较宽范围的参数值以适 合于多重不同的摄像头。在上面的试验中介绍了用 两步标定法对 Log 像 统的稳定性较差且精度较低。首先，在标定过程中， 第一步获取摄像头畸变参数时，理论上获取的图像数 量越多，角度位置越多变，得到的参数越准确，但是 试验过程中发现获取的图像超过五张或者角度较为 倾斜时得到的畸变系数为 0，只有在五张以下，倾斜 角度较小时才能得到较为合理的畸变系数，因此程序 的稳定性很不理想。其次标定的过程中，第一步需要 手工操作鼠标去点击每个点中心，第二步通过键盘移 动使得白线和标记上的线重合，且很难做到摄像机完 全垂直于标记面，这一系列操作中引入了很多的人为 误差。由此可见，ARToolkit的标定过程在进一步提 升系统精度的过程中很难满足要求。 本文采用德国 MVTec 公司计算机视觉工具包 Halcon，该工具包提供有一套自带的相 用Halcon 对所获图像进行分析的过程中可以实 现照片中标定板的自动识别、标定板中标志点的自动 Copyright © 2013 Hanspub 23  基于 ARToolkit 的地下工程增强现实研究和试验 寻找和圆形标志点中心的亚像素定位，从而实现高 效、稳定、高精度的标定过程。整个图像处理过程可 以实现全自动完成；同一组图像多次标定，结果误差 小于 0.01 像素；计算 20 幅图像的标定图像序列时间 在20 秒左右。由表 1对比发现 Halcon标定法的优势 很明显。 4.1.2. 改进摄像头外参 摄像头的外参确定了摄像头在世界坐标系中的 置和姿态，在 simpletest.c 程序 Calibration method comparison ARToolkit 自带的两步标定法 Halcon 标定法 三维位置，包括相机所处位 中摄像头和标识之间的转换矩阵 Tcm 用 arGetTransMath 函数计算，它通过世界坐标系中的标 识的两对平行边的直线方程、四个角点的坐标以及它 们在理想坐标系中的对应直线方程、点的坐标计算外 参矩阵，由于成像畸变以及图像处理过程中的一些误 差，在标志物中心周围区域计算得到的位置校准，而 在远离标志物中心的区域误差很大，这是将系统应用 到大空间中的主要障碍，由此本文想到在摄像头窗口 中增加几个标志点，然后分别求得各自区域的转换矩 阵，然后采用最小二乘法对转换矩阵进行求精，从而 提升远离标志物叠加虚拟模型的精度。 多标志改进外参的的程序代码是在ARToolKit的 Table 1. multiTest.c 基础上进行二次开发得到的。事先将多个 标志之间的位置关系保存在一个 dat 文件里，程序运 行时会读入多标志物信息。有了多个标志物，可以分 别获得各自的变换矩阵，利用非线性最小二乘法对摄 像头相对世界坐标系的变化矩阵Tcm 进行优化，目标 函数如，其含义是通过图像处理提取到的标识角点与 通过计算恢复出的角点之间的距离平方和最小。 为了验证多标志物系统提升精度的效果，本文进 行如下试验： 将多标志物中的六个标志物分别打印成 30 cm边 长的标志物，并平整地黏贴在泡沫板上，然后将标志 物A固定在墙上，测试其叠加误差。接着分别在标志 物A的x轴上0.5 m，0.8 m，1.1 m处固定标志物 B， 测试误差进行对比，发现增加标志物后明显提升了系 统精度，结果如图 9。 4.2. 走廊试验 基于 ARToolkit 的增强现实系统的硬件设备如图 10 所示。计算机为 Dell XT2 笔记本，摄像头为罗技 Pro9000 摄像头，头盔显示器为 Emagin Z8003D Viso r (视频透视式 HMD)。程序是上一节改进后的多标 表1. 标定法对比 处理图像数量较少，5张以下 可以计算 20 张以上图像 第一步需要人手动操作鼠标去点击选取每个点的中心，第二步中通过键 盘手动移动使得白线和标记上的线重合，且很难通过人工调整使得摄像 实现标定板的自动识别、标定板中标志点的自动寻找和圆形标志点中心 的亚像素定位，整个图像处理过程可以全自动完成，同一组图像多次标 定 机完全垂直于标记面 ，结果误差小于 0.01 像素 Figure 9. Precision experiment of multi-marks 图9. 多标志物精度试验 Copyright © 2013 Hanspub 24  基于 ARToolkit 的地下工程增强现实研究和试验 志程序，由于用 OpenGL 建模过于底层，效率较低， 因此本文在该程序中引入wrl 模型，在 3D MAX中进 行直观快速的建模后以 wrl 格式导出，加载到程序中。 在走廊现场，戴上这套装置之后，可以实时地看到应 力应变、背后地质条件等隐藏信息，如图 11。 Figure 10. Hardware devices 图10. 硬件设备 Figure 11. Corridor experiment 图11. 走廊试验 5. 结语 目前，我国地下工程的发展进入黄金期，而增强 现实技术作为虚拟现实技术的下一步趋势，将得到更 广泛的应用。增强现实技术可以应用于地下工程的施 工养护等方面，为地下工程的全生命周期服务。本文 在总结相关概念及相关研究的基础上，从基于 ARToolkit的核心注册问题出发，开展了地下工程增 强现实技术研究，结合地下工程的特殊环境研究其限 制因素，并从内参和外参两方面进行了改进，最后在 走廊中成功实现应用。鉴于本文是首次将增强现实技 中，在系统的稳定性和模型的可视 化方法方面还有待在以后的研究中完善。 参考文献 (References) [1] 李晓军, 朱合华, 解福奇. 地下工程数字化的概念及其初步 应用[J]. 岩石力学与工程学报, 2006, 25(10): 1975-1980. [2] 朱合华, 李晓军. 数字地下空间与工程[J]. 岩石力学与工程 学报, 2007, 26(11): 2277-2288. [3] 刘伟涛, 郑东锋. 数字化在隧道工程中的应用[J]. 工程地质 学报, 2008, 16(增刊): 424-427. [4] 朱淼良, 姚远, 蒋云良. 增强现实综述[J]. 中国图象图形学 报, 2004, 9(7): 767-774. [5] 姚远. 增强现实应用技术研究[D]. 浙江大学, 2006. [6] 康绍鹏. 增强现 实关键技术研究[D]. 沈阳航空工业学院, 2009. [7] 沈克. 基于 交互系统的若干 问题研究[D]. 合肥 , 李利军等. 基于ARToolKit 的增强现实系统开发 [J]. 计算机系统应用, 2006, 1: 81-84. [9] 术应用于隧道工程 ARToolKit 平台的增强现实人机 工业大学, 2007. [8] 任波, 管涛 与应用 任鹏. 增强现实中基于视觉的跟踪配准技术的研究[D]. 电子 科技大学, 2008. [10] 管涛, 李利军, 武建刚等. 一种健壮的三维注册方法——对 ARToolKit 的改进[J]. 计算机应用与软件, 2007, 11: 174-176. [11] 孙伟. 基于新模板的增强现实研究[D]. 西安电子科技大学, 2009. Copyright © 2013 Hanspub 25 |