ABSTRACT

This article describes an improved target detection method which combines the watershed segmentation algorithm and targeting geometric feature extraction. It is used in the area of detecting impurities, ore image noise and edge connections in conveyor belts. The watershed algorithm causes over-segmentation and under-segmentation in the detection work as the noise area gravely connected to the edge of ore objects. This article concentrates on optimizing the ore seed area, improving segmentation defects to extract the geometric characteristics of the segmentation target and implementation of the ore impurities detection by feature statistical analysis. As shown in the experimental results, such algorithm can obtain the ore boundary accurately, as well as mark the impurities from images effectively.

Keywords:Image Segmentation, Watershed, Ore Impurities Detection

基于标记分水岭分割算法在矿石异物检测应用研究

靳晓颖，张国英

中国矿业大学(北京)，北京

收稿日期：2018年1月2日；录用日期：2018年1月16日；发布日期：2018年1月25日

摘 要

提出一种改进的分水岭分割算法和目标几何特征提取相结合的目标检测方法，应用于传送带矿石中的异物检测。矿石图像噪声及边缘连接严重，分水岭算法产生过分割及欠分割问题。本文通过优化矿石种子区域，改善分割缺陷，并提取分割目标的几何特征，通过特征统计分析，实施矿石异物检测。实验结果表明，该算法可准确获得矿石边界，并能有效的对图像中异物进行标记。

关键词 :图像分割，分水岭，矿石异物检测

Copyright © 2018 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

工业生产中传送带上出现的木棍、大型石块等会对传送带造成磨损和破碎设备的损耗。通过自动监控异物替代人力劳动对生产具有现实意义。监控异物的前提是分割矿石和杂物，然而由于矿石生产环境恶劣，空气中粉尘含量高，导致采集到的图像模糊不清，噪声严重。矿石图像本身具有相互叠加，纹理复杂，边界模糊等特征也给分割造成了困难。

商梦石 [1] 提出将图像处理技术应用在矿石粒度检测领域，对破碎后的矿石粒度进行检测，根据检测结果及时调整工艺参数，对提高碎磨效率具有重要意义。周静 [2] 将基于图论的图像分割算法应用于矿石图像分割中，提出基于协同表征的二部图矿石图像分割算法，但在碎片较多的矿石图像中存在严重过分割问题。李希 [3] 针对颗粒图像分割中产生的问题，采用真实欧式距离所提取的局部极大值点信息对分割策略进行控制，改善分割效果。Amankwah等人 [4] [5] 则采用基于区域的算法对矿石图像进行分割，但是算法设计复杂，算法时间代价较高。

目前，利用图形图像处理技术检测传送带上矿石堆中杂物的研究比较少，多为学者对其他领域杂物检测的研究，高朋 [6] 运用机器视觉检测技术把待测医用药液的图像全系列地获取出来，对药液图像进行特殊且合理的图像处理算法，从而识别出待测液中的不溶性异物以及其他不合格现象。王宝帅 [7] 等人提出基于特征谱特征的机场跑道异物分层检测算法，将雷达自动目标识别的概念引入跑道异物检测问题中，减少因跑道异物检测而占用机场跑道的时间。吴成中 [8] 为检测出注射液生产过程中混入的50 μm以上微弱不溶解异物，提出了一种高速高精度的机器视觉检测方法。

本文在已有研究的基础上，采用一种基于标记的分水岭分割和目标几何特征提取相结合的矿石图像异物检测技术，可以较好的对矿石图像进行分割，并能有效甄别图像中的异物，其中分水岭算法是图像分割中一种有效的方法，它对微弱边缘具有良好的响应，是得到封闭连续边缘的保证，为分析图像的区域特征提供了可能。但它本身存在严重的过分割问题，目前主要有两类解决分水岭的过分割问题：第一类属于前处理，是基于标记的分水岭分割算法，每一个标记对应着图像中一个物体；第二类属于后处理，根据某个准则反复对区域进行合并操作。本文主要研究第一类解决方案，通过预先提取矿石目标种子点作为标记，再进行分水岭变换，来改善分水岭对图像过分割的缺陷，并对分割图像中的目标进行几何特征的提取，包括目标区域的周长、面积和最小外接矩形，通过杂物与矿石目标几何属性的差异来识别图像中的异物。

2. 矿石目标定位

2.1. 裁剪、滤波及OTSU双窗二值化

由于图像获取过程中引入了噪声，必须对矿石图像做增强处理，但是传统的线性滤波滤除噪声的同时也会将边缘模糊，容易造成欠分割问题，而双边滤波作为一种非线性滤波器，具有非迭代、局部和简单等特性，在考虑图像像素空间关系的同时也考虑灰度间的关系，达到了既保持图像边缘又滤除噪声的目的 [9] 。采用该方法可以去除灰尘杂质及光照不均带来的畸变干扰。双边滤波器采用局部加权平均的方法获取复原图像 $\widehat{f}$ 的像素值：

$\widehat{f}\left(x,y\right)=\frac{{\displaystyle \sum _{\left(i,j\right)\in S_{x,y}}w\left(i,j\right)g\left(i,j\right)}}{{\displaystyle \sum _{\left(i,j\right)\in S_{x,y}}w\left(i,j\right)}}$ (1)

式中为模板像素坐标， $g\left(i,j\right)$ 为待去噪图像对应的像素灰度值， $S_{x,y}$ 表示以 $\left(x,y\right)$ 为中心像素点的尺度为 $\left(2n+1\right)\times \left(2n+1\right)$ 大小的邻域；对该邻域内的每一个像素点 $g\left(i,j\right)$ ，其加权系数 $w\left(i,j\right)$ 由两部分因子的非线性组合，空间邻近度因子 $w_d$ 和亮度相似度因子 $w_r$ 的乘积。

$w_d\left(i,j\right)={\text{e}}^{\frac{{\left|i-x\right|}^2+{\left|j-y\right|}^2}{2{\sigma }_d^2}}$ (2)

$w_r\left(i,j\right)={\text{e}}^{-\frac{{\left|g\left(i,j\right)-g\left(x,y\right)\right|}^2}{2{\sigma }_r^2}}$ (3)

$w\left(i,j\right)=w_d\left(i,j\right)w_r\left(i,j\right)$ (4)

采集的图像中矿石左右两侧包含了运送矿石的皮带，为了减少后续操作中不必要的运算，通过人工标定出传送带上矿石的大概范围，仅在矿石区域寻找种子点。如图1所示，图中阴影部分代表矿石的大概区域，其中 $zs,zx,ys,yx$ 分别代表灰色区域四个角点的j坐标， $xa,xb$ 分别代表矿石区域直线上的j坐标，h是图像高度，根据三角形相似性原理，只需将 $xa$ 左边与 $xb$ 右边的区域置为背景，即可以达到标记矿石区域的目的。

$\frac{i}{h}=\frac{xa-zs}{zx-zs}$ (5)

矿石图像中目标的边界特征是矿石分割和异物识别的重要信息，为将目标矿石与背景区分开，需要采用二值化方法对双边滤波图进行灰度变换，生成二值图。二值化是通过设定一个阈值T，用T将图像的像素数据分成两部分：大于T的像素群和小于T的像素群。但矿石图像中目标粘连堆积，表面不均匀，传统的阈值方法不能准确有效的分割。

本文采用双窗OTSU二值方法 [10] ，将OTSU的基于最大类间方差的最优阈值与Simphiwe提出的双窗自适应阈值法 [11] 相结合，根据图像中矿石图像及目标的相对大小，针对同一中心像素确定双窗尺寸，

图1. 图像裁剪示意图

再对双窗应用OTSU法分别求得各自局部最优阈值，取两者中的较小者为最佳阈值，双边滤波图中灰度值大于最佳阈值的为矿石，小于最佳阈值的为背景，从而生成二值图。矿石图像中目标大小不一，光照不均，该方法通过小尺度的窗检测小粒度的矿石目标，较大尺度的窗检测大粒度的矿石目标，具有较强的适应性，二值化效果优于传统方法。

首先分别求得中心像素p两个领域窗口 $$ 和 $m\times m$ (即和 $N_p^m$ )最优阈值 $T_{otsu}\left(N_p^n,t\right)$ 和 $T_{otsu}\left(N_p^m,t\right)$ 。

$\{\begin{array}{l}{T}_{otsu}\left(N_p^n,t\right)=\underset{0\le t\le l}{\arg \max }\left\{{\sigma }_B^2\left(t\right)\right\}\\ T_{otsu}\left(N_p^m,t\right)=\underset{0\le t\le l}{\arg \max }\left\{{\sigma }_B^2\left(t\right)\right\}\end{array}$ (6)

式中，t为灰度级范围取值[0, 1]；l为最大灰度级(255)； ${\sigma }_B^2\left(t\right)$ 为最大类间方差 [12] ，方差越大代表着错分率越小。

其次，根据最优阈值将双边滤波后的图像 $$ 二值化， $f_b\left(x,y\right)$ 为二值化结果。

$$ (7)

矿石图像二值化是后续种子区域提取的基础，根据双窗OTSU确定的最优阈值，在双边滤波图的基础上生成了矿石目标的二值化图。二值化结果见图2(b)。

2.2. 矿石标记生成

正确选取标记是分割成功的关键，是后续正确识别异物的保障。预处理后的矿石图像中，各个矿石目标之间相互粘连堆积，并且存在部分孤立的面积值极小的白色噪声点，这些都会影响图像分割准确性，造成过分割或欠分割。本文首先对图像进行腐蚀 [13] ，使面积极小的噪声点去除或使其面积更小，将大部分矿石之间的粘连部分腐蚀掉。其次进行孔洞填充、开运算、面积滤波与优化大目标。

2.2.1. 孔洞填充

由于腐蚀会使图像中大的白色区域内的黑色斑点面积增大，同时图像中还存在一些面积极小的白色区域，这些小区域是由噪声引起的而不是真正的种子点，它破坏了图像中信息的完整性，若继续采用形态学运算进行处理会对图像整体结果有一定的影响，故针对“孔洞”问题，采用面积滤波方式对较大的孔洞和图像中的白色噪声点进行滤除。

用八链码 [14] 方法标识出图像中每个边界像素，扫描线方法追踪目标轮廓，形成链表。八链码原理如图3。对每一个分割图像中的目标，可以通过记录的八链码计算面积，即累加区域中所有行的像素点个数。找到图像中大的白色区域内黑色斑点并计算其面积，将小于面积阈值的区域填充为白色，同理将区域面积小于给定阈值的白色噪声点填充黑色。面积阈值一般根据图像中噪声点的大小确定。对腐蚀后的矿石图像进行面积滤波，阈值经过多次实验确定为15，其实验结果见图4(a)，可以看到成功去除“孔洞”、细小的噪声点，取得较为理想的结果，为后续的分割奠定基础。

2.2.2. 开运算

填充去噪后的结果图已经能初步看出种子点的轮廓，但其中还有很多缺点会造成分水岭分割效果不理想。其中矿石目标边界中毛刺以及目标间相互粘连的问题可以采用数学形态学中的开运算进行弱化，开运算是先腐蚀后膨胀的过程，可定义为： $f\circ \text{b}=\left(f\Theta \text{b}\right)\oplus \text{b}$ 开运算可以用来消除小物体，去掉毛刺光滑目标轮廓，在纤细处分离物体，平滑较大物体的边界的同时并不明显改变其面积。

图2. 预处理过程图

图3. 八链码原理图

图4. 生成标记过程

2.2.3. 矿石种子区域生成

伴随开运算的操作产生了一些面积值极小的白色非种子目标区域，这些非种子目标会影响分割效果，采用面积滤波的方法，当目标面积小于阈值时将小区域去除。

用于分水岭分割的种子目标，必须具有在目标区域内，轮廓光滑，大小适中等特点，通过去除小目标后，图中包含两类种子点，一种区域面积较小，一种区域面积较大，其中大的种子点有边界超出实际目标的可能性，因此可以采用腐蚀的方式优化大种子，但同时腐蚀操作会造成小种子点变得更加小甚至消失，为了防止这种现象的发生，可以先将这些小种子点保护起来，具体过程为：设定面积阈值，用以区分大种子和小种子，然后将小种子点的轮廓保存到一张空白图片，将原图中的小区域填充为背景，再对留下的大目标进行腐蚀操作，最后将保存好的小目标绘制到腐蚀后的大目标结果图中即为最终种子图。

3. 矿石图像分割及特征提取

分水岭分割方法将图像视作地形表面，每个像元的灰度值对应为地形表面的高程，局部极小值及其影响区域称为集水盆；然后在集水盆最低处穿孔，将其垂直浸入水中。当水慢慢浸入并淹没表面时，在不同汇水盆地之间修建大坝防止其聚合，这些大坝就形成分水岭 [15] [16] 。分水岭分割方法对微弱边缘具有良好的响应，但是由于矿石图像噪声及边缘连接严重,直接应用分水岭方法极易产生过分割现象。

标记控制分水岭变换是针对过分割现象对分水岭变换的改进。通过预先提取矿石目标种子点作为标记，再进行分水岭变换，这种方法可以有效改善分水岭过分割现象。即在种子图中，将每个种子点即1个点以上的连通点集，用不同的正整数将这些种子点进行标注区别，不同的整数就成为不同的种子点，其中每个目标对象内部的前景像素都是相连的。

利用经过上述步骤产生的标记图像作为分水岭函数的标记图像，通过opencv中分水岭函数实现分水岭分割算法，将种子图作为标记图传入，同时传入原始图像，以各个不同的种子点为中心扩张，相聚时筑起大坝。并且将分割后不同的区域随机用不同的颜色进行填充，更加直观的展示分割结果，如图5所示。通过标记可取得较好的分割效果。

3.1. 改进分水岭算法在异物检测中应用

在工业破碎中每一级破碎矿石粒度尺寸有大概范围，因此判断杂物与矿石的指标之一就是区域面积，针对矿石所具有的形状特征，虽然凹凸不平具有一定棱角，但是对比木头等杂物还是相对圆润，因此圆形度和长宽比可以作为另一个区别杂物与矿石的判断指标。利用矿石与异物之间几何特征的差异，可以对它们进行良好的区分。

3.2. 几何特征提取

计算的几何特征包括区域边界的周长、面积、最小外接矩形的长宽比和圆形度。具体的表示方法如下：区域轮廓的周长：每一个分割图像中的目标，首先通过记录的八链码计算周长C假设区域边界链码为 $a_1{a}_2\cdots a_n$ ，用 $\Delta l_i$ 代表每段链码的线段长度，因此该区域边界周长如下：

$C={\displaystyle \sum _{i-1}^n\Delta l_i=n_e}+\left(n-n_e\right)\sqrt{2}$ (8)

其中 $n_e$ 表示链码中标号为偶数的编码个数；为链码中所有码总和。区域的面积：x轴的积分S就是面积区域面积也可以利用扫描区域内像素点的个数来衡量。

$S={\displaystyle \sum _{i=1}^n\left|\Delta y\left(x_i+\frac{1}{2}\Delta x\right)\right|}$ (9)

$S={\displaystyle \sum _{i=1}^n\left|\Delta x\left(y_i+\frac{1}{2}\Delta y\right)\right|}$ (10)

图5. 标记控制分水岭分割结果

$y_i=y_{i-1}+\Delta y$ ， $y_0$ 是初始点的纵坐标。计算区域目标面积还可做如下简化：首先标记目标边界，对相同目标边界点赋予相同编号，不同目标边界上的点编号加以区分，遍历整幅图像，当遇到编号时，统计该相同编号目标内所有像素点总和作为目标面积。

圆形度：圆形度是用于衡量目标与圆形相似程度的，圆形度的取值范围为 $0<e\le 1$ ， $e$ 值越大，则目标与圆形越相似，通过圆形度统计结果可以获得矿石目标接近圆的大致范围，用以区分杂物与矿石。定义式如下：

$e=\frac{4\text{π}S}{p^2}$ (11)

最小外接矩形长宽比：将物体的边界以每次3˚左右的增量在90˚范围内旋转。每旋转一次记录一次其坐标系方向上的外接矩形边界点的最大和最小x、y值。旋转到某一个角度后，外接矩形的面积达到最小。此即为最小外接矩形。最小外接矩形长宽比计算公式如下

$r=\frac{h_r}{w_r}$ (12)

其中r表示长宽比， $w_r$ 表示最小外接矩形宽， $h_r$ 表示最小外接矩形高。

3.3. 异物检测

通过提取出目标的几何特征值，对各个属性值进行统计，统计结果对比如下：

由图6、图7、图8可知，当面积值大于12,000时，该区域不同于大部分矿石，将此区域归为杂物，

图6. 面积统计图

图7. 长宽比统计图

图8. 圆形度统计图

图9. 圆形度统计图

标定为蓝色。木条形状狭长，圆形度小于0.2，因此当圆形度 < 0.2，并且长宽比大于4的区域归为杂物，标定为黄色。

在采集的51张矿石图像中，4张含异物的图像均成功标识，可良好的检测矿石中的异物，见图9。

4. 结论

在实际生产过程中，通过计算机实现自动监控异物替代人力劳动对生产具有现实意义。本文在分析和研究已有矿石图像分割算法和矿石图像自身特点的基础上，提出一种改进的分水岭分割和目标几何特征提取相结合的矿石图像异物检测方法，能有效甄别出图像中的杂物。

文章引用

靳晓颖,张国英. 基于标记分水岭分割算法在矿石异物检测应用研究
Ore Impurities Detection Based on Marker-Watershed Segmentation Algorithm[J]. 计算机科学与应用, 2018, 08(01): 21-29. http://dx.doi.org/10.12677/CSA.2018.81004

参考文献 (References)