 Computer Science and Application 计算机科学与应用, 2013, 3, 1-5 http://dx.doi.org/10.12677/csa.2013.37A001 Published Online October 2013 (http://www.hanspub.org/journal/csa.html) Algorithm and Technology of Image Area Measurement Based on Binocular Stereo Vision Juanjuan Che1, Jian Zhang2, Xuehong Cao1,2 1College of Communication and Information Engineering, Nanjing University of Posts and Telecommunication, Nanjing 2College of Communication Engineering, Nanjing Institute of Technology, Nanjing Email: juanjuan_che@163.com Received: Jul. 31st, 2013; revised: Aug. 26th, 2013; accepted: Sep. 8th, 2013 Copyright © 2013 Juanjuan Che et al. This is an open access article distributed under the Creative Commons Attribution License, which permits un- restricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Abstract: A binocular stereo vision system with a common USB camera is developed based on the distance measurement principle of binocular stereo vision, and the non-contact and on-line inspection method for the area of image is studied. First, we calibrate the camera and obtain the internal parameters of the camera. Second, horizontal parallax of the cor- responding points in two images is calculated by template matching based on OpenCV, and then the distance parameter is obtained. Finally, we find the spatial geometrical relationship between the image of the imaging plane and the actual image, and then the actual area of image is gotten. This method is easy to realize with low cost and real-time perform- ance. The experiment indicates that the algorithm meets the accuracy requirements within certain range of measurement. Keywords: Binocular Stereo Vision; Camera Calibration; Template Matching; Parallax; Geometrical Relationship 基于双目立体视觉的图像面积测量算法与技术 车娟娟 1，张 健2，曹雪虹 1,2 1南京邮电大学通信与信息工程学院，南京 2南京工程学院通信工程学院，南京 Email: juanjuan_che@163.com 收稿日期：2013 年7月31 日；修回日期：2013年8月26日；录用日期：2013 年9月8日 摘 要：本文基于双目立体视觉测距原理，用普通的USB 摄像头搭建双目立体视觉系统，提出了图像面积的非 接触在线测量方法。首先对摄像头进行标定，得到摄像头的内参数，然后根据 OpenCV 的模板匹配算法，求出 两幅图像中对应匹配点的水平视差，得到距离参数，最后根据平行双目视觉的成像原理，求得实际图像与其在 成像平面上的图像之间的空间几何关系，进而求出图像的实际面积。该方法实现简单、成本低、实时性好。经 过实验验证，该算法在一定测量范围内达到精度要求。 关键词：双目立体视觉；摄像机标定；模板匹配；视差；几何关系 1. 引言 人类视觉系统能够通过眼睛成像来感知现实世 界中的三维物体，表明人类视觉系统具有从二维景物 图像感知三维信息能力，这对立体视觉技术理论的形 成具有重要的指导意义。在人类用计算机实现对视觉 信息处理的过程中形成了一门新兴的学科——计算机 视觉[1]，而基于计算机视觉的测量技术作为一种非接 触式的先进测量技术，具有精度高、效率高、成本低 Copyright © 2013 Hanspub 1  基于双目立体视觉的图像面积测量算法与技术 等诸多优点，有着广阔的应用前景。 面积是物体主要的二维特征之一[2]，在对一些大 尺寸物体和人类视觉无法感知场合的物体进行实际 面积测量时，常用测量工具无法完成的测量工作，计 算机视觉更显示出其无可比拟的优越性。人们对于利 用双目立体视觉系统进行测距的研究已经很成熟了， 然而利用双目立体视觉系统进行物体面积测量的研 究却不是很多，文献[3]测量面积的方法是先计算出图 像像素面积，然后换算出图像的实际面积，这种方法 算法复杂，误差比较大。另一种方法可以先求出特征 点的空间坐标，再求出面积，但前提是特征点在左右 图像平面上的 Y坐标相等[4]，然而在实验过程中，我 们很难保证两个摄像头完全在一个平面上，即不可能 使坐标相等，因此这种方法对测量仪器的要求较 高，为了避免上述两种方法的缺点，本文提出的一种 运用普通 USB 摄像头构建的双目视觉系统测量图像 面积的方法算法简单，不需要保证Y坐标相等且在一 定测量范围内达到了精度要求。其具体实现过程是： 先做摄像机标定和特征点匹配，测量出图像到双目系 统的距离参数，然后利用实际图像与其在成像平面上 的图像之间的空间几何关系，最后计算出实际面积。 Y 2. 双目立体视觉系统测距原理 为了测量面积，图像到双目立体视觉系统的距离 是必不可少的信息。图 1 所示为简单的平行双目立体 测距原理图，两摄像机的光心连线的距离为基线距， 表示为 ，摄像机焦距为 B f 。两摄像机在同一时刻拍 摄空间物体的同一特征点，分别在左 CCD像面和 右CCD 像面上获得了包含特征点 的图像。 P P 该特征点在两幅图像上的坐标分别为 、，由相似三角形关系 可得： Left Left , l PX Y Right Right , r PX Y Left Right BX XB zf z (1) 由(1)式可以得出： Left Right Bf zXX (2) 其中视差 Left Right DX X ， f 为摄像机标定所求的 参数。 f z B P o 2 o 1 P r O 1 O 2 P l Figure 1. The principle of binocular stereo vision distance meas- urement 图1. 双目立体视觉测距原理 3. 双目立体视觉系统面积测量原理 本文提出了一种基于双目立体视觉测距原理，利 用实际图像与其在成像平面上的图像之间的空间几 何关系的面积测量方法。 图2是不考虑畸变情况下的典型的双目视觉成像 系统，由图 2可以看出，立体视觉中左右摄像机的放 置和相应的各种坐标系，设左右两侧的图像坐标系分 别为和，三维空间中一点 通过镜头的 聚焦在图像传感器上成像，其像点、 在图像坐标 系下的坐标分别为 111 Oxy 22 2 Oxy P 2 P 1 P 11 , X Y和 22 , X Y。点 和分别 为左右两侧摄像机镜头的光学主点。为了简化分析过 程，设双目摄像机水平摆放。以左侧摄像机镜头光学 主点 为测量坐标系原点建立三维测量坐标系， 光轴 与轴重合，线段 称为双目立体视觉系 统的基线，其长度为 。若摄像机的有效焦距分别为 1 o2 o o 1 o 11 Oo xyz z12 oo B 1 f 、2 f ，空间点 P摄像机光学中心的连线与两摄像 机光轴的夹角分别为 1 与 、2 ，可以由像点 P、 在 像平面上的坐标与焦距 1 2 P 1 f 、2 f 比值的反正切函数得 到： 22 111 22 222 arctan arctan wXY wXY 1 2 f f (3) 其中 22 111 1 POX Y 、22 222 2 POX Y 。 同时可以得到： 22 11111 22 22222 PoPOf PoPO f (4) Copyright © 2013 Hanspub 2  基于双目立体视觉的图像面积测量算法与技术 w 2 w 2 w 1 w 1 x y z f 1 f 2 x 1 y 1 B x 2 y 2 O 2 o 1 P o 2 O 1 P 1 P 2 Figure 2. The imaging system of binocular stereo vision 图2. 双目视觉成像系统 结合(2)式和(3)式可以求得： 1 1 2 cos cos 2 z Po w z Po w (5) 由上述可知我们可以根据(2) 式求出几何图形每 个顶点到立体视觉系统的距离记为 、和 。(本 文中实验的几何图形为三角形 ) 1 z2 z3 z PQR 同理可以求出三个顶点到光学主点、 的距离 、 、 、、、 。 1 o2 o 1 Po 2 Po 1 Qo 2 Qo 1 Ro 2 Ro 以左摄像机拍摄的图形为例，待测三角形与其在 图像平面的三角形之间的空间几何关系如图 3所示： 如图 3所示，设点、Q点和 点在左摄像机图 像平面上的坐标分别为 ，， PR l 1ly 1 ,Px 22 ,Rxy 33 , l Qxy 则由上述可知： 22 11 22 22 arctan arctan p r x y wf x y wf 、 1 1 1 cos cos 2 p q w w z Po z Ro 及 22 11 22 11 ll ll PoPOf RoROf ，其中 1 z2 z为P 、 点、 点到光学主点 的距离， Q1 o22 11 l POxy 1 、 22 122l ROx y，因为两个摄像机配置相同，所以 12 f ff。 因为 在图像平面的坐标已知，所以 l P、l R 22 12 x xyy ，进一步可以得到： 12ll PR 222 o PR w p w r α α R l P l Q l P Q R o 1 O 1 Figure 3. The spatial geometrical relationship between triangle under test and triangle on the imaging plane 图3. 待测三角形与其在图像平面三角形的空间几何关系图 则22 2cosRPoRoPo Ro ，同 11 11 P理可以 出其它两条边的边长 、，最后得到三角形 的面积： 求PQ RQ SPPPQPPRPQR (7) 其中 2 PQPR QR P 。 于双目立体视 图像面积测量的 算法实现流程 确定要靠摄像机标定和特征点 匹配来获得，本文中摄像机标定采用的是张正友的摄 像机 特征点匹配 是要找出需要配准的两幅图像中正确 匹配的特征点。考虑到实验中采用的立体图像对纹理 比较 4. 基 觉的 上述距离参数的 标定法[5,6]，标定前首先对标定板进行角点检测， 因为对标定板提取的角点的坐标值的精确度会对摄 像机标定的精度产生影响，所以标定点先采用传统的 Harris 算子[7]检测出像素级的角点坐标，再通过亚像 素角点到周围像素点的矢量应垂直于图像的灰度梯 度这个观察事实[8]得到角点的亚像素坐标；然后进行 标定，得出摄像机的参数。面积测量首先要对图像进 行特征点匹配，得出匹配点的视差后，再由三角测量 理论结合标定参数计算出待测图形到双目立体视觉 系统的距离。最后根据上述的测量面积原理计算出实 际面积的大小。 特征点匹配 11 11 arcos 2 llll ll Po R Po Ro (6) 简单，因此本文的特征点匹配采用的是 OpenCV Copyright © 2013 Hanspub 3  基于双目立体视觉的图像面积测量算法与技术 提供的模块匹配算法 cvMatchTemplate[9]，该算法的优 点就是简单，直接，运行速度比较快，但不具有旋转 不变性和尺度不变性。 为了适合本实验的应用要求，实验中对左右图像 分别进行了角点检测，然后把左图中的特征点作为模 板图 从左右匹配图中，可以看出匹配 效果 像，与右图中的特征点进行模板匹配，相似度最 大的，则认为是最佳匹配点，最后计算出最佳匹配点 的像素坐标。图4(a) 、(b)为双目系统中，左右摄像头 所拍摄到的三角形，论文采用的匹配方法得到的匹配 图如图 4(c)。 实验得出该算法所用的时间为2 ms 左右，计算的 速度相对比较快的。 还是比较好的，左图中的特征点在右图中基本上 都能找到相应的匹配点，误匹配点很少。 5. 实验结果及讨论 5.1. 摄像机标定实验 摄像机内参矩阵 0 0 0 001 x y f su A fv ， x f 、 y f 分别 为很多情况下令 、 图像中心坐标。 像头 统，先用两个摄像头拍摄两幅图 像， 5.2. 面积测量实验 为了便于计算和比较测量误差，实验测量的图形 长为10 cm。实验中设置两摄 像头 离参数，对左右图像进行特征点匹配，如图 4(c)所示， u和v的有效焦距， 0，0 u0 v为s 实验测量工具采用 2个USB 摄 及一把钢尺 构成的双目视觉系 再换标定板的摆放位置，继续在左右拍摄点拍摄 得到左右图像，以此类推。实验采用左右各 10 幅图 像来标定，图像大小为640 × 480，得到的左右摄像头 的内参矩阵结果如下： 749.15884 0275.93266 0 7A 41.78180 223.60537 001 l 753.08179 0275.13763 0745.23099 212.08890 001 r A 为一个等边三角形，边 之间的距离为 200 mm，即基线距。为了得到距 (a) (b) (c) Figure 4. The experimental images of feature point matching; (a) Left image under test; (b) Right image under test; (c) Matching figure (the matching point pairs has the same nuber) 图4. 特征点匹配实验图；(a) 左侧待测图形；(b) 右侧待测图形； (c) 待测图形匹配图(数字相同的为一对匹配点) 可 ，如图 3所示，可以计算出两组三角形面积测量结 成的原理，以多边形的中心连接多边形 的各 6. 结束语 用廉价的 USB摄像头构建了双目视觉系 内实现了较为精确的面积测量，并通过 性。 m 以得到三个顶点的视差，然后根据(2)式可以得到三 个顶点的距离。最后根据本文介绍的面积测量的方 法 果。设三角形的三个顶点分别为 P、Q、R，三个顶点 到成像平面上的点设为P1、Q1、R1，则计算结果如 表1所示： 从表 1中可见，两组测量同一三角形的实际面积 的实验误差在2%以内。根据一切图形除点和线外都 是由三角形组 个顶点，就得到一组三角形，最后利用本文中测 量三角形面积的方法，就可以测量出任意一个多边形 的面积。 本文利 统，在短距离 实验验证了本文算法的可行性因而具有广泛的实用 由于标定误差、人为误差以及其他因素的影响， 例如未对标定图像和待测图形进行预处理，这些因素 的影响导致了在距离摄像机越远的地方测量得到的 面积信息精度越差，如果提高实验设备性能，误差将 Copyright © 2013 Hanspub 4  基于双目立体视觉的图像面积测量算法与技术 Copyright © 2013 Hanspub 5 erro 测量结果及误差 序号 三点坐标 实际面积 面积误差 Table 1. The results andr of area measurement 表1. 三角形面积 测量边长 实际边长 测量面积 P1 (228.342, 43.622) PR = 9.73238PR = 10 15 Q1 (1897) PQ78 2 43.25 43.30 0.12% 51.737, 167. = 9.654711PQ = 10 1 R1 (305.746, 167.048) RQ = 10.4093064RQ = 10 42.56 43.30 1.7% P1 (524.314, 42.6206) PR = 9.678082463PR = 10 Q1 (451.1, 168.178) PQ = 9.90717955PQ = 10 R1 (603.411, 165.73) RQ = 10.4439041RQ = 10 注：边长单位为厘米，面 1和双目测离为 500 mm 会进一步减少。 . 致谢 完成，得到了导师张健副教授和曹雪虹 指导。从论文选题、论文研究到整个论 的完 到了实验室很多同学的热情指导和帮助， 在此 ) [1] 马颂德, 张正友 (1997) 计算机视觉.科学出版社, 北京. .电子工业出版社, 北京. [3] 尤路, 付永 USB 摄像头平行双目视觉系统 差 e for camera calibra- 积单位为平方厘米。 2组实验的三点到 距系统的距。 7 本课题的 教授的悉心文 在面 成，处处渗透着张老师和曹老师的心血和劳动。 这段时间，张老师和曹老师在学习上和生活上都给予 我很多的支持和帮助，他们严谨求实的治学作风、锐 意创新的思想意识、孜孜不倦的科研精神和平易近人 的师长风范，深深地鞭策和教育着我。在此，谨向导 师张健副教授和曹雪虹教授表示崇高的敬意和衷心 的感谢。 在这段时间的日常学习以及最后课题的完成过 程中，也得 也表示衷心的感谢。 参考文献 (References [2] 阮秋琦 (2001) 数字图像处理学 庆, 王咏胜 (2008) 积测量中的应用. 应用科技 , 2, 1-4. [4] 高强, 李青, 康丹, 黄霞 (2010) 电力线巡检立体图像的视 估计方法. 计算机应用 , S2, 104-106. [5] Zhang, Z.Y. (2000) A flexible new techniqu tion. IEEE Transactions on Pattern Analysis and Machine Intel- ligence, 22, 1330-1334. [6] Zhang, Z.Y. (1999) Flexible camera calibration by viewing a plane from unknown orientations. Proceedings of the Interna- tional Conference on Computer Vision (ICCV’99), Corfu, 21-22 September 1999, 666-673. [7] Harris, C.G. (1988) A combined corner and edge detector. Pro- ceding of the Fourth Alvey Vision Conference, Manchester, 31st August-2nd September 1988, 147-151. [8] 梁志敏, 高洪明, 王志江, 吴林 (2006) 摄像机标定中亚像素 级角点检测算法. 焊接学报 , 2, 102-104. [9] Bradski, G.R. and Kaehler, A. (2008) Learning OpenCV: Com- puter vision with the OpenCV library. O’Reilly, Sebastopol. |