![]() Computer Science and Application 计算机科学与应用, 2013, 3, 216-221 http://dx.doi.org/10.12677/csa.2013.34037 Published Online July 2013 (http://www.hanspub.org/journal/csa.html) Research on Precision Measurement of Machine Part Based on Radiometric Calibration* Dexue Bi1, Xiangxu Li1, Yongmei Liu2 1College of Mechanical Engineering, Tianjin University of Science & Technology, Tianjin 2Beijing Entry-Exit Inspection and Quarantine Bureau, Beijing Email: dexue@tust.edu.cn, xiangxu_li@mail.tust.cn, yongmeiliu@hotmail.com, Received: May 6th, 2013; revised: May 27th, 2013; accepted: Jun. 5th, 2013 Copyright © 2013 Dexue Bi et al. This is an open access article distributed under the Creative Commons Attribution License, which permits unre- stricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Abstract: In this paper, a precision measurement method of machine part based on radiometric calibration was pro- posed. According to radiometric calibration, the response function of our camera’s CCD sensor was obtained, and the non-linear mapping relations between image gray value and the radiant energy of machine part were established. Based on this, the real size of machine part in image was restored. The experiments showed that this method can effectively improve the measurement accuracy, and it would be of great importance in non-contact measurement field of machine part. Keywords: Machine Vision; Radiometric Calibration; Response Function; Non-Contact Measurement 基于辐射标定的机械零件精密测量方法研究* 毕德学 1,李相旭 1,刘咏梅 2 1天津科技大学机械工程学院,天津 2北京出入境检验检疫局,北京 Email: dexue@tust.edu.cn, xiangxu_li@mail.tust.cn, yongmeiliu@hotmail.com 收稿日期:2013 年5月6日;修回日期:2013年5月27 日;录用日期:2013年6月5日 摘 要:提出了一种基于辐射标定的机械零件精密测量方法。通过辐射标定求出摄像机CCD 传感器的响应函数, 建立图像灰度值与传感器收集的辐射能量之间非线性映射关系,恢复了图像中机械零件的真实场景,使机械零 件的边缘轮廓更加接近实际。实验表明,该方法有效地提高了机器视觉的测量精度,在机械零件非接触测量领 域具有重要的意义。 关键词:机器视觉;辐射标定;响应函数;非接触测量 1. 引言 在现代化的生产过程中,基于机器视觉的机械零 件尺寸测量,逐渐成为非接触测量领域的主要技术方 法,并且已被广泛应用到工业生产的各个领域。然而, 目前大多数的机器视觉测量方法是建立在 CCD 传感 器收集的辐射能量与灰度值之间存在线性关系这一 假设基础之上的[1]。文献[2-5]中的算法都是基于这一 假定的线性关系对图像进行处理,并没有深入研究图 像自身生成的过程。而在实际的视觉传感器中,由于 大多数图像生成过程伴随着光电转换器件中电压的 非线性放大,这导致我们获取的图像并不能真实线性 地反映物体的尺寸。因此对于一些响应函数为非线性 *基金项目:十一五国家科技支撑计划资助(2009BAI71B01)。 Copyright © 2013 Hanspub 216 ![]() 基于辐射标定的机械零件精密测量方法研究 的摄像机或图像采集设备来说,这些算法的精度就会 降低。在实际应用中,当我们通过视觉方法对机械零 件进行精密的测量时,就必须确定相机的非线性响应 函数。确定逆响应的过程,称为辐射标定[6]。 文献[7]中,Stephen Lin 等人提出了基于单幅图像 辐射标定的方法,该文献使用了 EM算法,但易受到 参数初始值的影响,且鲁棒性较差。文献[8]尽管对文 献[7]进行了改进,但仍不能达到较好的效果。文献[9] 中,Steve Mann 和Richard Mann提出了一种从不同程 度曝光图像中评估相机响应函数的方法。该方法在求 解过程中使用迭代优化,收敛性较差且效率不高。在 文献[9]基础之上,本文通过建立多幅图像优化时的相 对K值的关系,改进了优化方法并将标定结果应用到 了测量实验中。实验表明,该方法对提高机器视觉测 量精度具有重要的意义。 2. 基于图像序列的辐射标定 2.1. 标定原理 我们知道图像中坐标(x, y)处像素的灰度值I(x, y) 是CCD 传感器在曝光过程 k中累计能量(即辐射能 量)E(x, y)的一个非线性函数 : f I, , x yfkExy , (1) 式中 k是与曝光时间成正比,与镜头光圈面积成正比 的系数。在实际应用中我们通常固定光圈而改变曝光 时间。因此,可以将k看作曝光时间。 对公式(1)取反函数可得到: 1, f Ixy kExy (2) 公式(2)中f−1反应了从像素灰度值到辐射能量的 映射关系。辐射标定的目的是确定逆响应 f−1,通过建 立查找表,将逆响应能够被应用到一幅图像上,从而 实现输出图像灰度值与传感器辐射能量之间的线性 响应。 假设对同一场景的物体,分别用曝光时间 k1和k2 采集了两幅图像。根据公式(2)有如下关系: 1 11 , , f Ixy kExy (3) 1 22 , , f Ixy kExy (4) 将两个等式相除来消去未知能量E可以得到: 1 11 1,2 1 2 2 , , fIxy kk k fIxy (5) 两边取对数得: 2 1,, 1,2 F Ixy FIxyK (6) 可以看到,公式(6)反映了不同曝光时间下,灰度 值I(x, y)的辐射能量相差一个常数,该常数与曝光时 间无关,而是依赖于两次曝光时间的比值。 2.2. 算法实现 对于两幅不同曝光时间的图像I1和I2来说,存在 查找表 F使得这两幅图像通过查找表映射后得到的辐 射能量值之间存在线性关系,表示为矩阵的形式如 下: A FK (7) 这里 A属于RL + 1 × N,其中 L是图像中像素的个 数。矩阵 A的列索引为灰度等级数量,行索引为图像 I的行堆叠。矩阵 A中各元素如下所示: 1 ,,wxyIxy1 A (8) 2 ,,wxyIxy1 A (9) 其中未赋值元素均为0;向量 F表示对数逆响应函数 的查找表;K为一个常数向量,由于在处理图像时只 需使用归一化的查找表,向量K内的可统一置为1。 由于 F收敛于未知的常量,不妨令其收敛于 0,即 F(N) = 0,其中 N为灰度等级数量。因此,需要分别为 A 和K添加一行元素A(L + 1, N) = 1。 通常情况下,图像中像素的数量会远远大于其灰 度等级数量(L N),可知公式(7)是一个超定方程组, 这个超定方程组可以通过正规方程组 ATAF = ATK进 行求解,公式(10)所示(具体推导过程见附录)。 1 TT F AA AK (10) 2.3. 约束与优化 以上我们采用两幅图像对辐射标定的原理和算 法进行了讨论,然而仅仅采用两幅图像并不能覆盖到 所有的灰度值范围,这就需要采用不同程度曝光的图 像对进行优化。我们可以从一幅欠曝光的图像开始, 不断增加曝光时间直到采集的图像曝光充分。将相邻 Copyright © 2013 Hanspub 217 ![]() 基于辐射标定的机械零件精密测量方法研究 图像两两组对,分别计算他们各自的A和K,然后将 所有的 A和K分别堆叠在一起代入公式(10)计算。但 是要注意到,由于那些过度饱和的像素的过度饱和行 为影响了算法的最终优化,必须从 A矩阵中删除他 们。 在处理多组图像对时,我们要注意到多组图像对 之间 K值的相对关系。设图像对的曝光时间分别为 Pair1(k1, k2),Pair2(k2, k3),Pair3(k3, k4),…,记Ki为 第i组图像对的K值,那么当我们令第一组图像对 K1 = 1 时,其它图像对的K值如下: 23 2 12 log log kk Kkk 34 3 12 log log kk Kkk …… 2.4. 标定实验结果 实验中,运用大恒 DH-HV1302UM-T 型号的摄像 机对不同曝光时间的图像进行采集,采集过程中固定 摄像机的光圈,图像的曝光时间依次为5 ms、10 ms、 20 ms、40 ms、80 ms、160 ms和320 ms。如图1所 示。 将上述相邻图像两两组成图像对,根据算法原 理,运用 Matlab 编程实现得到结果如图 2和图 3所示。 图2显示了 CCD传感器的辐射响应曲线,通过该曲 线可以建立查找表,将灰度值映射为辐射光强度。图 3显示了辐射响应曲线的导数值,它反映了随着光强 的改变,像素灰度作为整数输出的灵敏度[10]。 Figure 1. A sequence of differently exposed pictures of the same subject matter 图1. 同一物体在不同曝光时间下的图像序列 CCD CCD 辐射光强度 250 200 150 100 50 0 0 50 100 150 200 250 Figure 2. The calibrated inverse response curve 图2. 标定出的 CCD 传感器响应曲线 Figure 3. The derivative of the response curve 图3. CCD响应曲线的导数 3. 基于 2D 标定靶测量的实验设计 3.1. 实验原理 在空间中,物体所携带的几何度量信息是三维 的,仅仅采用普通的单目摄像机是不能对其进行测量 的。由于 2D标定靶在摄像机坐标系中的表示可以通 过标定摄像机的外部参数确定[11],因此只需添加一个 平面约束,就可以用单目相机测量该物体在该平面上 所表现出的二维信息,如公式(11)示: 1 0 1 0 0 1001 1 12 x y x uu yv v rrt (11) 其中:αx为u轴上归一化焦距;αy为v轴上归一化焦 距; γ为u轴和 v轴的不垂直因子;(u0, v0)为主点坐标。 t为平移向量,表示从世界坐标系的原点到光心的矢 Copyright © 2013 Hanspub 218 ![]() 基于辐射标定的机械零件精密测量方法研究 Copyright © 2013 Hanspub 219 量;r1, r2为图像平面两个坐标轴在世界坐标系中的方 向矢量。 件的空间二维信息; 6) 运用辐射标定的结果,对图像进行场景还原, 重新测量求解; 3.2. 实验步骤 7) 对比两次测量结果,并进行实验分析。 实验设备配置: 3.3. 实验结果与分析 计算机:华硕F80s Inter(R) Core(TM) Duo CPU T5800 @2.00 2.00 根据实验设计的原理和步骤,采用 Matlab编程方 法实现了待测机械零件的测量。图4中(a)和(b)分别显 示了实验图像在辐射标定处理前后的场景。图 5中(a) 和(b)分别显示了机械零件在辐射标定处理前后的测 量结果。具体数据见表1。 摄像机:大恒DH-HV1302UM-T 游标卡尺:精度0.02 待测零件:直径95.00 mm 具体方法步骤: 1) 采用 Matlab 中TOOLBOX_calib标定工具箱, 标定摄像机的内部参数: 从表 1的数据分析可知,辐射标定处理后零件的 测量精度提高了0.1 mm,相对精度提高了 0.105%。 2) 将待测机械零件放置在 2D平面标定靶上,用 已经标定出内部参数的摄像机,对其进行采集图像; 4. 结论 通过对摄像机 CCD辐射响应曲线的标定,建立 了图像灰度值与 CCD所收集辐射光强的非线性映射 关系,使得图像中机械零件的边缘更加贴近真实值。 实验表明,该方法提高了机器视觉测量中亚像素级别 精度,在非接触测量领域具有重要的意义。 3) 根据已知的内部参数,采用标定工具箱,标定 出2D 平面标定靶的外部参数(旋转分量和平移分量); 4) 对所拍摄的待测零件进行边缘提取,该边缘为 机械零件与2D 平面标定靶的相交位置; 5) 根据 2D平面标定靶的外部参数,反求待测零 (a) (b) Figure 4. The scene of measurement before and after the radiation calibration. 图4. 图像辐射标定处理前后 (a) (b) Figure 5. The result of measurement before and after the radiation calibration 图5. 辐射标定处理前后测量结果 ![]() 基于辐射标定的机械零件精密测量方法研究 Table 1. Resulting data of measurement experiment 表1. 测量实验结果数据 测量结果 (单位:mm) 绝对误差 (单位:mm) 相对误差 标定前 94.8592 0.1408 0.148% 标定后 94.9588 0.0412 0.043% 参考文献 (References) [1] 冈萨雷斯. 数字图像处理(第三版)[M]. 北京: 电子工业出版 社, 2011: 26-29. [2] 祁晓玲, 赵霞霞, 靳武银. 基于机器视觉的轴类零件几何尺 寸测量[J]. 组合机床与自动化加工技术, 2013, 1: 65-67. [3] 高飞, 辛镝, 石米娜, 谭庆昌. 基于机器视觉的机械零件自动 精密测量[J]. 试验技术与试验机, 2006, 46(6): 28-31. [4] 贺振兴. 基于机器视觉的精密锡膏印刷设备精度研究[D]. 华 南理工大学, 2012. [5] 罗钧, 黄俊 . 基于机器视觉的二维小尺寸精密测量系统[J]. 计算机测量与控制, 2007, 15(1): 11-13. [6] C. Steger, M. Ulrich and C. Wiedeman. 机器视觉算法与应用 [M]. 北京: 清华大学出版社, 2008: 101-111. [7] S. Lin, J. Gu, Shuntaro, S. Yamazaki and H. Shum. Radiometric calibration from a single image. IEEE Computer Society Con- ference on Computer Vision and Pattern Recognition, Washing- ton DC, 27 June-2 July 2004, 938-945. [8] 董敏, 朱虹, 邢楠, 赵朝杰. 核密度估计的单幅图像相机响应 逆函数求解方法[J]. 计算机工程与应用, 2012, 48(10): 177- 174. [9] S. Mann, R. Mann. Quantigraphic imaging: Estimating the cam- era response and exposures from differently exposed images. Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 8-14 December 2001, 842-849. [10] S. Mann. Comparametric equations with practical applications in quantigraphic image processing. IEEE Transactions on Image Processing, 2000, 9(8): 1389-1406. [11] 张广军. 机器视觉[M]. 北京: 科学出版社, 2005: 84-87. Copyright © 2013 Hanspub 220 ![]() 基于辐射标定的机械零件精密测量方法研究 附录: 公式(10)的推导过程 由于公式(7)是一个超定方程组,对于这类方程组 的求解,我们通常采用最小二乘法。其具体方法是设 2 AFK ,通过最小化 来求解 F。 令: TT d22 d AAFAK F0 即可得到公式(10) 1 TT FAAAK Copyright © 2013 Hanspub 221 |