¹上海理工大学机械工程学院，上海

²上海理工大学光电信息与计算机工程学院，上海

收稿日期：2021年12月13日；录用日期：2022年1月19日；发布日期：2022年1月26日

摘要

亚像素算法是提高图像处理精度的算法之一。本文基于图像的亚像素处理，采用亚像素边缘轮廓提取方法——Zernike矩提取图像轮廓的边缘，并利用低通滤波优化边缘处理。同时本文采用基于Douglas-Peucker算法的多线拟合方法，计算和分析图像边缘轮廓的特征，对不同轮廓的边缘进行分割，计算各截面轮廓像素的长度和轮廓像素的总长度，通过对图像进行相机标定、图像畸变处理，计算出图像的实际标定距离，建立了基于亚像素的图像边缘轮廓提取与处理的模型。

关键词

亚像素，Zernike矩，多元线性拟合，相机畸变校正，图像处理

Edge Contour Extraction and Process Based on Zernike Moment Summary

Yinjie Mao¹, Yingjie Lu², Xia Li², Tianfeng Li¹, Yingping Yi¹

¹School of Mechanical Engineering, University of Shanghai for Science and Technology, Shanghai

²School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai

Received: Dec. 13^th, 2021; accepted: Jan. 19^th, 2022; published: Jan. 26^th, 2022

ABSTRACT

The subpixel algorithm is one of the methods to improve the precision of the image processing program. This paper is based on image subpixel processing, extracting the edge of the image contour by one of the subpixel edge contour extract methods called Zernike moment. A low pass filter is used to optimize edge processing. Using the multiple line fitting method based on the Douglas-Peucker algorithm, this paper calculated and analyzed the characteristics of the image edge contour, segmented the edge of different contours. Segment the edges of different contours, the length of each section contour pixel and the total length of contour pixel are calculated, and the image is calculated by camera calibration and image distortion processing. The model of image contour extraction and processing based on subpixel is established.

Keywords:Sub-Pixel, Zernike Moment, Multiple Linear Fitting, Camera Distortion Correction, Picture Processing

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

现如今，机器视觉系统广泛应用于产品的识别、验证、缺陷检测等方面。在工业生产中，我们需要分析大量的图片，提取物体的各种信息，如轮廓特征的实际尺寸等。

在图像信息提取的过程中，最重要的工作之一就是图像边缘轮廓信息的提取，随着工业制造的发展，人们对各种产品的精度和精度要求越来越高，这使得图像边缘提取的精度的需求也越来越高。传统算法使用Sobel和Canny等几种算子来检测图像的边缘轮廓 [1]。然而，随着边缘轮廓检测技术的发展，对图像边缘的精度提出了更高的要求。考虑到价格和效率，对于硬件上提高相机的清晰度进而提高拍摄图片的分辨率的方案成本太高，于是人们从软件入手，提出了亚像素算法来提高边缘轮廓的精度，将一个像素的精度从整数精度提高到浮点精度。

基于较高的精度和更多的边缘信息，通过坐标信息提取每个轮廓的几何特征，可以获得更准确的图像大小和比例信息。本文在亚像素边缘提取的基础上，设计了不同边缘信息提取算法，建立了关于图像边缘信息提取的模型。

本文对如下图1所示的三幅图片进行了边缘的提取和分析，详细分析了模型的流程，模型的算法流程如图2所示。

图1. 待处理图像

图2. 算法流程图

2. 基于Zernike矩的图像边缘提取方法

2.1. Zernike矩

矩量法是一种卷积积分法，具有较强的抗噪声干扰能力。它对乘法噪声和加法噪声都不敏感。矩的方法有空间矩、灰色矩和Zernike矩。Zernike矩具有正交性，计算效率高 [2]，因此本文选择亚像素法的Zernike矩来检测图像的边缘轮廓。

定义连续图像的第n行第m列的Zernike矩如公式(1)所示。

$Z_{nm}=\frac{n+1}{\text{π}}{\displaystyle {\iint }_{x^2+y^2=1}f\left(x,y\right)\ast V_{nm}^{\ast }\left(\rho ,\theta \right)\rho \text{d}\rho \text{d}\theta }$ (1)

当像素为离散时，定义数字图像的Zernike矩为公式(2)。

$Z_{nm}=\frac{n+1}{\text{π}}{\displaystyle \underset{x}{\sum }{\displaystyle \underset{y}{\sum }f\left(x,y\right)\ast V_{nm}^{\ast }\left(\rho ,\theta \right)}}$ (2)

其中：

$m,n$ 是两个整数， $n\ge 0$，$n-\left|m\right|$ 是偶数；

$\rho$ 为图像边缘的位置， $\rho =\sqrt{x^2+y^2}$ ；

$\theta$ 为x轴与 $\rho$ 的夹角；

$V_{nm}$ 是一个积分函数， $V_{nm}^{\ast }\left(\rho ,\theta \right)$ 是它的复共轭。

旋转不变性是Zernike矩的特征之一，图3中图3(a)图是理想边缘轮廓的模型。利用旋转不变原理，边缘轮廓在旋转一定角度之后其对应的值大小不变，于是如图4所示，将理想边缘轮廓模型旋转至与y轴平行，从而求出的4个主要参数 [3]，即图3(a)中的l，h，k和倾斜角度 $\varphi$，体计算公式如式(3)所示。

图3. 旋转不变原理

$\{\begin{array}{l}h=\frac{Z_{00}-\frac{k\text{π}}{2}+k\arcsin l+kl\left(\sqrt{1-l^2}\right)}{\text{π}}\\ k=\frac{3Z_{11}^{\ast }}{2{\left(1-l^2\right)}^{3/2}}=\frac{3Z_{11}}{2{\left(1-l^2\right)}^{3/2}}{\text{e}}^{j\varphi l}\\ {\varphi }_{n1}={\tan }^{-1}\left[\frac{\mathrm{Im}\left[Z_{n1}\right]}{\mathrm{Re}\left[Z_{n1}\right]}\right]\left(n=1,3\right)\\ l=\frac{Z_{20}}{Z_{11}^{\ast }}=\frac{Z_{20}}{Z_{11}}{\text{e}}^{-j\phi }\end{array}$ (3)

通过以上参数便可以对图像边缘进行定位，同时，因为zernike模板具有 $N\times N$ 的放大效应，模板越大定位数据越精确 [2]，放大后的边缘坐标变化如式(4)所示：

$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{c}x\\ y\end{array}\right]+\frac{N}{2}\cdot l\left[\begin{array}{c}\cos \varphi \\ \sin \varphi \end{array}\right]$ (4)

本文采用 $7\times 7$ 的模板进行放大 [2]，令每一个Zernike矩Z_mn对应的模板为M_nm，M_nm的值可由如下式(5)和式(6)求出 [4]，其具体值分别如表1，表2，表3所示。

$M_{nm}={\displaystyle {\iint }_{x^2+y^2=1}{V}_{nm}^{\ast }\left(\rho ,\theta \right)\text{d}x\text{d}y}$ (5)

计算 $M_{nm-ij}$ 的公式为式(6)。

$M_{nm-ij}={\displaystyle {\iint }_{{\mho }_{ij}=Q⌢S_{ij}}{V}_{nm}^{\ast }\left(\rho ,\theta \right)\text{d}x\text{d}y}$ (6)

表1. 模板M₀₀的值

表2. 模板M₁₁的值

表3. 模板M₂₀的值

2.2. 边缘提取结果

用Zernike矩对三幅图进行亚像素边缘提取并输出边缘坐标，效果如图4所示。

图4. 亚像素边缘提取效果

图4(a)中边缘的部分坐标如表4所示。

表4. 图4(a)的部分边缘坐标数据

从表4可知，所有坐标的精度从整数提高到小数点后4位，说明Zernike矩亚像素边缘检测是有效的。

对于图，为了改善亚像素边缘检测效果，通过低通滤波来过滤一处理后的图像如图5所示。

图5. 低通滤波处理前后的图像对比

3. 基于Douglas-Peucker算法的边缘轮廓分析方法

3.1. 算法设计

Douglas-Peucker算法可以将一条曲线拟合为一系列的点，该算法的基本思想流程是 [10]：

1) 在曲线的起点和终点之间形成一条直线。

2) 选择与阈值比较的最大点，如果它大于阈值，则保留该点，或者删除该行中的所有点 [5]。

3) 根据保留点重复步骤1和步骤2，直到无法删除点为止。

4) 完成直线曲线的简化。

该步骤如图6所示。

图6. Douglas-Peucker算法流程

将提取得到的边缘通过Douglas-Peucker算法拟合成多条直线段，并分析这些直线的斜率、斜率的一阶导数、斜率的二阶导数等特征。

直线的斜率在所有点上都是相同的，圆的斜率在各处都是变化的，分析数据表明在Douglas-Peucker算法拟合直线后，可以近似地认为圆的斜率的一阶导数是常数，斜率的二阶导数是0。由于椭圆的斜率的三阶导数不为0，因此可以通过分析其斜率和导数来判断其形状。具体算法流程如图7所示。

图7. 分段算法流程

使用Douglas-Peucker算法时，阈值参数限制拟合线的拟合程度，选择不同的阈值的数值：[10 100 7040251]，适合不同的结果，不同的阈值结果如图8所示。

图8. DP算法不同阈值的拟合效果

图中深色线段为DP算法拟合出的多段线段，浅色为提取的边缘，当阈值为1时，拟合的线段与边缘几乎完全重合，故本文阈值确定为1。

3.2. 边缘分段算法实现效果

以图4(a)和图4(b)所提取的边缘为例，对边缘进行拟合，对所有拟合线段进行处理，得到表5和表6所示的部分分段点。

表5. 图4(a)的部分分段点

表6. 图4(b)的部分分段点

根据这些线段点数据，可以描述不同的分段，结果如图9所示。

图9. 图4(a)和图4(b)的分段结果

4. 对每个分段的处理和数据获取

4.1. 分段长度

4.1.1. 像素长度计算

边缘提取时获得了所有边缘点的坐标，在对边缘进行拟合时也输出了每条线段的起点和终点的坐标信息，将某一分段的所有拟合线段长度做和即可得出分段对应的像素长度，以图一分段为例，部分分段的长度如表7所示。

表7. 部分分段的像素长度

4.1.2. 真实长度计算

拍摄测量图像时，将矩阵校准板放置在图像的同一水平高度上。定标板上的网点直径为1 mm，两点之间的中心距离为2 mm。使用3个不同倾角的校准板来计算图像边缘轮廓拟合曲线段的实际长度。校准板如图10所示。

图10. 标定板

本文通过图10中的三个标定板对相机畸变进行校正

· 图片校正

由于相机镜头通常为凸透镜或凹凸镜，其表面不是平的，所以拍摄的相机会产生如图11所示的径向畸变 [6] [7] [8]。

图11. 相机径向畸变

而且由于相机内部装配误差，镜头不能与成像平面平行，会引起切向畸变。对于切向畸变，使用了与中心距离相关的多项式函数，如公式(7)和公式(8)对其进行校正。

$x_{distorted}=x\left(1+k_1{r}^2+k_2{r}^4+k_3{r}^6\right)$ (7)

$y_{distorted}=y\left(1+k_1{r}^2+k_2{r}^4+k_3{r}^6\right)$ (8)

用另外两个公式来修正切向失真。

$x_{distorted}=x+2p_{1}xy+p_2\left(r^2+2x^2\right)$ (9)

$y_{distorted}=y+p_1\left(r^2+2y^2\right)+2p_{2}xy$ (10)

将这两组校正函数结合起来，得到总的校正函数

$x_{distorted}=x\left(1+k_1{r}^2+k_2{r}^4+k_3{r}^6\right)+x+2p_{1}xy+p_2\left(r^2+2x^2\right)$ (11)

$y_{distorted}=y+p_1\left(r^2+2y^2\right)+2p_{2}xy+y+p_1\left(r^2+2y^2\right)+2p_{2}xy$ (12)

最后得到5个失真参数： $distortion\text{-}para=\left(k_1,k_2,p_1,p_2,k_3\right)$ [9]，一般情况下的失真参数由文献1给出 [9]，通过该参数可以对图片进行修正具体值如下：

$\begin{array}{l}distortion\text{-}para:\\ \left[-8.5468148e,-017.14949304e+02,-1.25146655e-03,-1.02729442e-0,28.11144551e-01\right]\end{array}$

· 实现效果

以图1(a)图为例，使用畸变参数以及三个校准板对畸变进行校正，结果如图12所示。

图12. 相机畸变校正

选择4个标定板上的圆，计算其像素长度，并计算其与实际长度的比值，单位像素点长度比例如表8所示。

表8. 单位像素点长度比例

平均值为0.066844777。

通过比例求得边缘的实际长度如表9所示。

表9. 部分分段的实际长度(mm)

5. 结论

本文根据亚像素边缘提取算法，使用经典BP算法和低通滤波优化以及图片标定校正，结合基础几何图形的特性，提出了一种对图像边缘进行分段的算法，建立了一个分析图像边缘特征的模型，实用性好，可应用范围广。

文章引用

毛银杰,鲁映杰,黎 夏,李田丰,易映萍. 基于Zernike矩的图像边缘轮廓提取与处理模型
Edge Contour Extraction and Process Based on Zernike Moment Summary[J]. 建模与仿真, 2022, 11(01): 172-184. https://doi.org/10.12677/MOS.2022.111015

参考文献