![]() Computer Science and Application 计算机科学与应用, 2013, 3, 23-29 http://dx.doi.org/10.12677/csa.2013.31005 Published Online February 2013 (http://www.hanspub.org/journal/csa.html) A Camera Calibration Method Study Based on Single Two-Dimensional Image Xinhua He1, Shaohua Hu2, Yong Chen3, Lijun Yang4,5 1Beijing Institute of Astronautical Systems Engineering, Beijing 2Beijing Institute of Structure and Environment Engineering, Beijing 3Mud Logging Company, CNPC Greatwall Drilling Engineering Company Limited, Panjin 4No. 59 Institute of China Ordnance Industry, Chongqing 5Nanjing University of Science and Technology, Nanjing Email: buaahexinhua@126.com Received: Nov. 26th, 2012; revised: Dec. 12th, 2012; accepted: Dec. 21st, 2012 Abstract: In order to improve the calibration accuracy and efficiency of the camera, a camera calibration method based on single two-dimensional image is proposed in this paper. Method of least squares is used to calculate the mathemati- cal model between the world coordinate system and the computer image coordinate system, so that the problem that the Internal and external camera parameters and difficult to calculate directly and that the calculation accuracy is not high can be solved effectively. Calibration accuracy and reliability are guaranteed and also the calibration efficiency is im- proved in this method. Under normal circumstances, when there are three-dimensional world coordinates and its com- puter image coordinates of six known points in the space, then camera calibration can be realized. The calibration accu- racy can be further improved if the number of space known point is increased. A large number of calibration image data is tested to improve that this calibration method has high accuracy and small amount of calculation, and improves the reliability and accuracy of the camera calibration. This method has theoretical significance and practical value. Keywords: Camera Calibration; Three-Dimensional Reconstruction; Internal and External Parameters; The Method of Least Squares 基于单幅二维图像的摄像机标定方法研究 何信华 1,胡绍华 2,陈 勇3,杨丽君 4,5 1北京宇航系统工程研究所,北京 2北京强度环境研究所,北京 3中石油长城钻探工程有限公司录井公司,盘锦 4中国兵器工业第 59 研究所,重庆 5南京理工大学,南京 Email: buaahexinhua@126.com 收稿日期:2012 年11月26 日;修回日期:2012年12 月12 日;录用日期:2012 年12月21 日 摘 要:为提高场景摄像机的标定精度和标定效率,本文利用摄像机透镜成像原理,基于针孔成像模型,提出 了一种基于单幅二维图像的摄像机标定方法。该方法利用最小二乘法直接计算世界坐标系与计算机图像坐标系 之间的数学模型,有效解决了摄像机内外参数难以直接计算,且计算精度不高的问题。方法简单有效,实现摄 像机快速标定的同时保证了标定精度和可靠性,并提高了标定效率。通常情况下,当空间存在 6个已知点的三 维世界坐标及其计算机图像坐标时,即可实现摄像机标定。增加空间已知点的数量,还可进一步提高标定精度。 利用大量的标定图像数据进行验证,结果表明,该标定算法计算精度高,计算量小,提高了摄像机标定的可靠 性和精确性,具有一定的理论意义和实用价值。 关键词:摄像机标定;三维重建;内外参数;最小二乘法 Copyright © 2013 Hanspub 23 ![]() 基于单幅二维图像的摄像机标定方法研究 Copyright © 2013 Hanspub 24 1. 引言 摄像机标定是摄影测量、视觉检测、计算机视觉 等领域的重点研究课题之一,它是从二维图像获取三 维信息的关键步骤,摄像机标定的研果已广泛应用在 机器人导航、精密工业测量、物体识别、虚拟现实、 场景漫游、现场勘测以及军事等领域[1-4]。摄像机标定 技术是一种非接触测量技术,可实现测量的自动化。 要实现摄像机标定,需要求解三维世界坐标系与二维 计算机图像坐标系之间的转换关系,这种关系由摄像 机的内外参数决定。摄像机标定发展至今,已产生出 许多优秀的标定算法,其中主要包括基于主动视觉的 标定方法[5,6]、自标定方法[7]、基于灭点的方法[8]、Tsai 两步法[9]以及Direct Linear Translation (DLT)[10,11]等方 法。 主动视觉标定方法[5,6]需要知道摄像机的运动信 息,例如摄像机平移或旋转量。然而在摄像机实际标 定过程中,这些信息难以准确获得,因而现在使用该 方法较少。 自标定方法[7]不需要标定物,仅依靠摄像机在运 动过程中周围环境及图像间的对应关系来求取摄像 机参数。它又可以分为:基于自动视觉的摄像机自标 定技术(基于平移运动的自标定技术和基于旋转运动 的自标定技术),利用本质矩阵和基本矩阵的自标定技 术,利用多幅图像之间的直线对应关系的摄像机自标 定方法等。 基于灭点的标定算法[8]利用场景中相互正交的平 行线计算灭点,根据灭点的几何投影特性计算摄像机 内外参数。首先利用 Hough变换,检测出模板图像中 的各直线,确定对应的灭点;再把灭点坐标及已知的 各组平行线的方向向量代入隐参数矩阵计算方程,得 到摄像机的隐参数矩阵;最后对隐参数矩阵进行分 解,依次得到摄像机的内部参数矩阵和旋转矩阵,然 后利用模板中两个已知空间坐标的定标点计算摄像 机的位移矩阵。 Tsai 两步法[9]是根据摄像机的径向畸变模型,利 用径向准直约束条件提出一种两阶段标定方法,首先 根据径向准直约束求解出大部分模型参数,然后通过 非性搜索方法求解畸变系数、有效焦距等参数。并利 用数学变换和计算方法来计算摄像机内外参数。在该 模型中,镜头畸变参数纳入到摄像机模型中进行标 定,畸变参数与线性针孔模型的参数相互依赖。如果 系统有所调整,摄像机的内部参数需重新标定,畸变 参数也需要重新标定。 DLT 方法[10,11]从摄影测量学的角度深入研究了摄 像机图像和环境物体之间的关系,建立了摄像机成像 几何的线性模型,这种线性模型参数的估计完全可以 由线性方程的求解来实现。所以容易实现,算法简单。 而且不需要知道摄像机的物理参数,只需要知道景象 是怎样转换到图像这一变换关系。 近年来,随着机器视觉技术在机器人技术中的广 泛应用,对摄像机的标定精度提出了更高的要求。本 文利用摄像机透镜成像原理,基于针孔成像模型,提 出了一种基于单幅二维图像的摄像机标定方法。该方 法利用最小二乘法直接计算世界坐标系与计算机图 像坐标系之间的数学模型,有效解决了摄像机内外参 数难以直接计算,且计算精度不高的问题。方法简单 有效,实现摄像机快速标定的同时保证了标定精度和 可靠性,并提高了标定效率。 2. 摄像机标定 摄像机成像为透镜成像,理想情况下满足针孔成 像模型,物与像之间满足相似三角形关系。空间目标 的三维世界坐标转换为计算机二维图像坐标,需经历 三个变换。首先,空间目标的世界坐标系变换到摄像 机坐标系;其次,摄像机坐标下的物体映射到摄像机 的CCD 面,满足三角关系;最后,CCD面上的实际 图像坐标变换到计算机图像坐标。本文将摄像机坐标 系到摄像机 CCD 面再到计算机图像坐标系的转换过 程合并为摄像机坐标系到计算机图像坐标系的转换。 2.1. 世界坐标系与摄像机坐标系转换关系 对于空间中任意一点 P,其三维世界坐标系与三 维摄像机坐标系之间的转换关系可用公式(1)表示。 231 4562 13 7893 01 110001 1 c1 oc c c X XRRRTX YYRRRTY Z ZRRRTZ RT (1) 式中, 1 c c cc X Y Z C ![]() 基于单幅二维图像的摄像机标定方法研究 表示摄像机坐标系模型; 1 X Y Z C 表示世界坐标系模型; 123 456 789 oc RRR RRR RRR R 表示世界坐标系到摄像机坐标系的旋转矩阵; 1 2 3 T T T T 表示世界坐标系到摄像机坐标系的平移向量; 和 由摄像机的外参数决定。公式(1)可用方程组表示为 公式(2)。 oc R T 123 456 789 c c c 1 2 3 X RXRY RZT YRXRYRZT Z RXRYRZT (2) 2.2. 摄像机坐标系与计算机图像坐标系转换关 系 对于空间中任意一点 P,其三维摄像机坐标系与 二维计算机图像坐标系之间的转换关系可用公式(3) 表示。在这次转换中,丢失了深度信息。 0 0 0 00 10010 1 c c c X xfsxY yrfy Z (3) 式中, 1 i x y C表示计算机图像坐标系模型; 1 c c cc X Y Z C 表示摄像机坐标系模型; f 表示摄像机焦距; s 表示 摄像机畸变因子; 00 , x y表示摄像机主点坐标;r表 示摄像机纵横比; 表示摄像机比例因子; f , s , 00 , x y, , r 均由摄像机的内参数决定。物体从摄 像机坐标系转换到图像坐标系是依据光学成相原理, 转换关系与焦距 f 有关。公式(3)可用方程组表示为公 式(4)。 0 0 cc cc c c x fXsYxZ yrfY yZ Z (4) 进一步整理公式(4),可得公式(5 )。 0 0 cc c cc c c f XsYxZ xZ rfYy Z yZ (5) 2.3. 世界坐标系与计算机图像坐标系转换关系 综合世界坐标系与摄像机坐标系转换关系和摄 像机坐标系与计算机图像坐标系转换关系,得出世界 坐标系与计算机图像坐标系转换关系如式(11)所示。 具体公式推导情况见附录1。 1 2 3 1111111114 11 11111115 6 7 8 9 10 11 10 000 0000 1 10 000 0000 1 nnn nnnnnn nnn nnnnnn L L L XYZxXxY xZL XYZyXyYyZL L XYZxXxYxZL XYZyXyYyZL L L L 1 1 n n x y x y (11) Copyright © 2013 Hanspub 25 ![]() 基于单幅二维图像的摄像机标定方法研究 由式(11)可知,方程组包含共 11 个未知参数, 为11 维向量,当方程数量 2n > 11 时,可用最小二 乘法求解出 。由以上分析可知, 一般情况下,当空间存在至少 6个已知点的三维世界 坐标及其计算机图像坐标时,便可求出向量 ,进而 实现摄像机标定。但是,在某些特殊情况下,矩阵 1 ,,LL T Ab 11 L 1 T LAA L T A A可能不可逆,为保证 T A A可逆,取的空间 坐标点应不共面。同时,增加空间点的数量,可增加 的标定精度。 3. 实验结果 3.1. 标定结果 利用某楼梯口实际拍摄的彩色图片进行标定实 验,图片格式为JPG,图片分辨率为 2592 × 1552;采 用联想(ThinkPad)计算机进行标定处理,处理器类型 为第二代智能英特尔酷睿i3 处理器,CPU速度为 2.4 GHz,内存容量为2 GB。利用 Microsoft Visual Studio 2010 编译本文基于单幅二维图像的摄像机标定方法, 进行摄像机标定。摄像机标定坐标选择如图1所示。 在图 1中,以蓝色坐标轴为基础,建立 oxyz 空 间坐标系,选取红色点A,B,C,D,E,F作为图像 标定点,其二维图像坐标以及三维空间坐标分别为: , ; ,548,1517 xy A ,, 0,80, 0 XY Z A ,1786, 1459 xy B, ; ,, 160, 80,0 XYZ B ,112,1024 xy C , ; ,, 106,95.5,15 XYZ C ,927,9 04 xy D, ; ,, 43,125.5,30 XYZ D ,1687,720 xy E , ; ,, 222,185.5,60 XYZ E ,1924,518 xy F, ,, 222, 43.5,117.5 XYZ F。其中, 图像坐标的单位为像素;三维空间坐标的单位为厘 Figure 1. Selection of the calibrated coordinate 图1. 标定坐标选择 米。 根据公式(11)计算得:L1 = 6.919085; L2 = 2.563548;L3 = −1.198338;L4 = 639.715698; L5 = 0.351905;L6 = 0.883738;L7 = −6.915018; L8 = 1273.831787;L9 = 0.000438;L10 = 0.002586; L11 = −0.000801 。 3.2. 数据分析 标定结果验证如图2所示,选取验证点 a,b,c, d,e,f进行试验验证,其中 ; ,, 80, 80,0 XYZ a ,, 43,95.5,0 XY Z b ; ; 222,125.5,30 Z ,,XY c .5 e ,, 222, 43.5,57 XYZ d ; ; ,, 103,185.5,60 XYZ 7.5 ,, 222, 43.5,17 XYZ f。根据公式(8)计算得: ,1193,1486 xy a; ; ,933,1084 xy b ,1760,898 xy c; ; ,1906,853 xy d ,1189,717 xy e; ,见图1中绿 色点所示。其实测结果分别为: 6; ,1943,152 xy f ,xy a 1190,148 ,929,1088 xy b; ; ,1760,895 xy c ,1906,852 xy d; ; ,1189,719 xy e ,1946,156 xy f ,见图 1中蓝色点所示。误差分别 为: ,3, 0 exy a ; ; ,4, 4 exy b ,0, 3 exy c ; ,0, 1 exy d ; 0, 2 , e xy f , e exy ;。计算值 与实测值的误差结果分析表明:本文标定方法具有较 高的计算精度。 3, 4 4. 结论 摄像机标定是计算机视觉的关键步骤,摄像机标 定的精度对保证系统测量精度有着至关重要的作用。 由于传统摄像机标定方法大都工作量大、效率低、精 度不能保证。本文利用摄像机透镜成像原理,基于针 Figure 2. Verification of the calibrated results 图2. 标定结果验证 Copyright © 2013 Hanspub 26 ![]() 基于单幅二维图像的摄像机标定方法研究 孔成像模型,利用 算世界坐标系 参考文献 (References) [1] F. J. Zh J. Lan. Overview of geo- 最小二乘法直接计与 [ 计算机图像坐标系之间的数学模型,有效解决了摄像 机内外参数难以直接计算,且计算精度不高的问题, 提出了一种基于单幅二维图像的摄像机标定方法。该 方法简单有效,实现摄像机的快速标定的同时保证了 标定精度和可靠性,并提高了标定效率。通常情况下, 当空间存在至少 6个已知点的三维世界坐标及其计算 机图像坐标时,即可实现摄像机标定。为了进一步提 高摄像机标定精度,可以通过增加空间已知点的数量 来实现。实验结果表明,与传统算法相比,在相同的 摄像机和相同的环境下,新的摄像机标定方法标定速 度快、操作方便,提高了摄像机标定的可靠性和精确 性,具有较强的现实意义。 eng, T. Yu, G. T. Yuan and J. metric camera calibration. Taiyuan Science and Technology, 2010, 2: 72-73. 2] 刘碧霞, 李绍滋, 郭锋, 苏松志. 一种简单快速的相机标定新 方法[J]. 计算机工程与科学, 2011, 33(1): 88-93. [3] 梁力, 尹东斐, 王川. 高精度摄像机标定模板的设计及识别 算法[J]. 西安交通大学学报, 2011, 45(4): 82-85. [4] 高俊, 雷志勇, 王泽民. 高精度测量的相机标定[J]. 电光与 控制, 2011, 18(2): 93-96. [5] F. C. Wu, Z. Y. Hu. Linear determination of the infinite homo- graphy and camera self-calibration. Acta Automatica Sinica, 2002, 28(4): 488-496. [6] J. Weng, P. Cohen and M. Herniou. Camera calibration with dis- tortion models and accuracy and evaluation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(10): 965- 980. [7] Z. Y. Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. [8] E. Guillou, D. Meneveaux, E. Maisel, et al. Using vanishing point for camera calibration and coarse 3D reconstruction from a single image. The Visual Computer, 2000, 16(7): 396-410. [9] 吴军, 徐刚, 董增来, 汪杰君. 引入灭点约束的 TSAI 两步法 相机标定改进研究[J]. 武汉大学学报(信息科学版), 2012, 37 (1): 78-84. [10] D. H. Wang, J. Luo, Y. F. Hu and S. R. Xie. The method of direct linear transformation on the camera calibration. Machinery & Electronics, 2006, 9: 9-11. [11] 鲁新国, 王琰, 杨大为. 基于计算机视觉的线性摄相机标定 技术研究[J]. 沈阳理工大学学报, 2007, 26(5): 43-46. Copyright © 2013 Hanspub 27 ![]() 基于单幅二维图像的摄像机标定方法研究 附录 1 将公式(2)代入公式(5),可得公式(6)。 1231 456207893 7893 456207893 7893 f RXRYRZTsRXRYRZTx RXRYRZT xRXRYRZT rfR XRYRZ TyRXRYRZ T yRXRYRZT (6) 进一步整理公式(6),可得公式(7)。 140725083609 120 333 789 333 407508609 203 3333 789 333 1 1 3 3 f RsRxRfRsRxR fRsRxRfTsTxT XYZ TTT xRRR XYZ TTT rfRy RrfRy RrfRy RrfTyT XYZ TTTT yRRR XYZ TTT T (7) 公式(7)可进一步简化为公式(8)。 123 91011 567 91011 1 1 LXLY LZ L xLXLYLZ LX LYLZL yLXLYLZ 4 8 (8) 式中, 140 1 3 7 f RsRxR LT ;250 2 3 8 f RsRxR LT ; 360 3 3 9 f RsRxR LT ;120 4 3 3 f TsTxT LT ; 407 5 3 rfRy R LT ;508 6 3 rfRy R LT ; 609 7 3 rfRy R LT ;203 8 3 rfT yT LT ; 7 9 3 R LT ;8 10 3 R LT ;9 11 3 R LT 。 由于 f , s , , r 等参数均不易直接求取,因此直接计算摄像机参数 也极为困难。为了方便计算 出 ,本文将公式(8)转化为公式(9)。 1 ,,L11 L 1 ,,L11 L 12 3491011 56 7891011 X LYLZLLxXLxYL xZLx X LYLZLLyXLyYLyZLy (9) 将公式(9)的方程组形式改写为矩阵形式,可得公式(10)。 Copyright © 2013 Hanspub 28 ![]() 基于单幅二维图像的摄像机标定方法研究 Copyright © 2013 Hanspub 29 1 2 3 4 5 6 7 8 9 10 11 10000 0000 1 L L L L L X YZxXxY xZx L X YZyXyYyZy L L L L L (10) 如果已知n个空间点的三维世界坐标及其计算机图像坐标时,可建立方程组 AL b ,如公式(11)所示。 1 2 3 1111111114 11 11111115 6 7 8 9 10 11 10 000 0000 1 10 000 0000 1 nnn nnnnnn nnn nnnnnn L L L XYZxXxY xZL XYZyXyYyZ L L XYZxXxYxZL XYZyXyY yZL L L L 1 1 n n x y x y (11) 由式(11)可知,方程组包含共11 个未知参数,为11 维向量,当方程数量 2n > 11时,可用最小二乘 法求解出。由以上分析可知,一般情况下,当空间存在至少6个已知点的三维世界坐标及其 计算机图像坐标时,便可求出向量 ,进而实现摄像机标定。但是,在某些特殊情况下,矩阵 1 ,,LL T b L 11 L 1 T LAAA T A A可能不可 逆,为保证 T A A可逆,取的空间坐标点应不共面。同时,增加空间点的数量,可增加的标定精度。 |