¹盐城工学院机械工程学院优集学院，江苏 盐城

²徐州工程学院机电工程学院，江苏 徐州

收稿日期：2023年9月27日；录用日期：2023年11月15日；发布日期：2023年11月22日

摘要

针对冷库霜层厚度监测过程中常处于低光照、多障碍的环境，严重影响图像质量与霜层厚度测量精度的问题，提出了一种基于语义分割的冷库排管霜层厚度测量方法。首先将语义分割算法引入图像处理中对采集所得的低光照霜层图像进行像素分割，以消除低光照环境对图像质量的影响；其次对排管霜层的结霜区域进行Canny边缘检测，并结合霍夫直线检测算法，实现对霜层区域的提取；最后利用冷库排管的实际尺寸与结霜区域像素宽度比例关系确定霜层厚度。实验结果表明，文中所提方法能够有效计算低光照、多障碍环境下的冷库排管霜层厚度，计算所得的霜层厚度相对误差仅为1.88 mm，对冷库排管霜层监测工作具有一定的参考价值。

关键词

霜层厚度测量，语义分割算法，Canny边缘检测，霍夫变换

Research on Measurement of Frost Layer Thickness in Cold Storage Pipe Arrays Based on Semantic Segmentation

Ruizhe Zhu¹, Xiliang Ma^1,2*, Wenjun Miao¹, Bin Ma¹, Xuezhi Du¹

¹School of Mechanical Engineering UGS College, Yancheng Institute of Technology, Yancheng Jiangsu

²School of Mechanical & Electrical Engineering, Xuzhou University of Technology, Xuzhou Jiangsu

Received: Sep. 27^th, 2023; accepted: Nov. 15^th, 2023; published: Nov. 22^nd, 2023

ABSTRACT

A semantic segmentation based frost thickness measurement method for cold storage pipes is proposed to address the problem of low light and multiple obstacles in the process of monitoring frost thickness, which seriously affects image quality and frost thickness measurement accuracy. Firstly, the semantic segmentation algorithm is introduced into image processing to perform pixel segmentation on the collected low light frost layer images, in order to eliminate the impact of low light environment on image quality; Secondly, Canny edge detection is performed on the frosted area of the exhaust pipe frost layer, and combined with the Hough line detection algorithm, the frost layer area is extracted; Finally, the frost layer thickness is determined based on the proportional relationship between the actual size of the cold storage duct and the pixel width of the frosting area. The experimental results show that the proposed method can effectively calculate the frost layer thickness of cold storage pipes in low light and multi-obstacle environments. The relative error of the calculated frost layer thickness is only 1.88 mm, which has certain reference value for cold storage pipe frost layer monitoring work.

Keywords:Frost Layer Thickness Measurement, Semantic Segmentation Algorithm, Canny Edge Detection, Hough Transform

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

排管结霜是冷库常见的隐患问题之一，结霜较厚或持续时间过长，覆盖在管道上的霜层大大降低了其换热能力 [1] ，造成制冷系统运行时间的延长，耗电量也随之增加。严重时，作用在冷库排管上的重力超出其极限承载能力，极易损坏冷库制冷系统甚至导致管道负重坍塌。因此，为确保冷库的高质量，如今对于监测冷库排管结霜情况以及及时准确的测量已成为一个重要的研究课题。

目前，传统的冷库霜层厚度测量方法仍在使用人工观测，这种方法不仅费时费力，而且无法保障冷库内部测量的安全性和准确性，同时还难以满足大规模物流储存的需求。因此，研究机器视觉霜层测量，实现非接触快速测量是解决传统霜层测量不足的有效方法。这种方法能够自动化测量，并提高冷链物流管理效率，同时降低人工成本。文献 [2] [3] [4] 采用特征区域分割、霍夫变换，从而得到特征区域轮廓对覆冰线路进行厚度测量。然而该方法易受复杂环境干扰。文献 [5] [6] 针对霜层结霜特性结合机器学习方法，设计结霜预测智能模型，从而得到预测霜层厚度。然而间接预测模型难以准确及时测量排管霜层厚度。文献 [7] 滤除图像中的噪声和背景干扰，并将灰度图像作为输入，依次采用改进Canny边缘检测、Hough变换、改进k‐means聚类和最小二乘拟合算法对导线边缘进行定位，根据基于单目视觉的距离映射模型，通过计算覆冰前后的宽度差确定导线覆冰厚度。然而该方法单目视觉在复杂的冷库环境中难以保障固定位置测量的准确性。文献 [8] 研究了阈值化算法、阈值化应用算法以及分段数的确定对霜层厚度的影响推荐了一种合适的测量霜层厚度的图像处理方法。

上述研究为管道霜层厚度测量提供了可行的方案。然而由于冷库内环境复杂、光源不良，以及对比度较低等因素，是否能够通过传统的Canny边缘检测来准确提取目标边缘仍需要进一步的考证。冷库内货物堆积且流动性较大，因此采用单目固定相机进行测量容易受到环境遮挡问题的干扰，对霜层准确测量带来挑战。为此，文中提出一种新的冷库排管霜层可移动视觉测量方法。首先，对冷库结霜区域识别进行语义分割，降低复杂背景对Canny边缘检测的干扰；其次，Hough直线检测结合最小二乘法有效消除结霜区域边缘检测的多条直线问题；最后，针对厚度测量，采用一种径距比例的方法实现冷库排管霜层厚度的实时可移动测量。通过实验验证，文中所建立的方法表现出很好的准确性和适应性，在解决霜层测量问题方面取得了良好的效果，促进语义分割算法在视觉测量领域的发展。

2. 基于改进分割算法的低光照下图像分割

2.1. 最大类间方差阈值分割算法

运用最大类间方差法(Otsu算法)进行感兴趣区域的分割。这种算法利用类间方差最大化来寻找最佳分割门限，即错分概率最小。因此，Otsu算法也称作最大类间方差法。该方法计算速度快、不易受环境因素干扰。计算类间方差的方法如下：

假设存在阈值D_T将图像像素分为两类D₁ (小于D_T)和D₂ (大于D_T)，图像全局的均值为Q，而D₁和D₂的均值分别为y₁和y₂，概率分别为p₁和p₂。

$p_1\cdot y_1+p_2\cdot y_2=Q$ (1)

$p_1+p_2=1$ (2)

类间方差可表示为：

${\partial }^2=p_1{\left(y_1-Q\right)}^2+p_2{\left(y_2-Q\right)}^2$ (3)

化简后可得：

${\partial }^2=p_1{p}_2{\left(y_1-y_2\right)}^2$ (4)

其中

$p_1={\displaystyle \underset{i=0}{\overset{k}{\sum }}p{}_i}$ (5)

$y_1=1/p_1\ast {\displaystyle \underset{i=0}{\overset{k}{\sum }}i{p}_i}$ (6)

$y_2=1/p_2\ast {\displaystyle \underset{i=k+1}{\overset{L-1}{\sum }}i{p}_i}$ (7)

按照上述公式，遍历0~255个灰度级，求得使方差最大的k就是所需阈值。然而传统的阈值分割算法它是按图像的灰度特性，将图像分成前景和背景两部分，主要依靠于检测图像的先验特征。由于冷库背景复杂、光照不良的环境，可能图像分割边缘出现断连、缺失、过盈等问题。因此，文中对传统阈值分割进行改进，以期提升图像质量，提高对排管霜层厚度测量准确性。

2.2. 基于语义分割的阈值分割改进算法

在多种干扰因素的情况下，依赖于先验特征(如直线、圆、椭圆)进行目标识别和检测是不够可靠的。文中旨在解决冷库内管道霜层识别问题，采用语义分割技术来增强Otsu分割算法精度。相比其他方法，语义分割能够获得更为精细的分割结果，具有高准确性和鲁棒性等优点。文中采用了改进的MobileNetv2网络作为主干网络，并结合DeepLabv3+模型 [9] ，以提高对冷库内管道及霜层的准确提取，采用labelme多边形标注，以生成精确的json文件标记管道和霜层。如图1所示，与labelimg矩形标注工具相比，多边形标注能够更加贴合图像边缘的分割，而矩形标注会带来多余的背景边缘，在能够实现像素级别分割的语义分割算法中，多边形标注在分割效果方面具有更好的表现。

图1. 标注对比图像

1) DeepLabv3+模型

DeepLabv3+是谷歌提出的一种利用深度卷积神经网络进行图像语义分割的模型。目前，基于深度学习的图像分割研究已充分验证了其在图像语义分割方面的可行性。与先前模型相比，DeepLabv3+在算法和计算效率方面都有显著提高。该模型能够实现像素级别的图像分割，加入了编码器–解码器结构、结合空洞卷积和空间金字塔池化等技术进行优化。同时为减少模型参数量、提高训练速度，以轻量化改进的MobileNetv2 [10] 网络作为模型主干网络，模型整体网络结构如图2所示。

图2. DeepLabv3+网络结构

2) 空洞卷积

DeepLab模型中，空洞卷积 [11] 至关重要的组件。该技术允许在保持特征图大小不变的情况下，通过调整rate(r)控制感受野的大小。感受野是指卷积网络中每一层输出的特征图上的像素点在输入图片上映射的区域大小，这有助于提取多尺度信息。

3) 空间金字塔池化(ASPP)

ASPP模块 [12] 主要包括一个1 × 1标准卷积和三个空洞卷积组成，分别采用6、12和18的不同膨胀率。由于被检测物体具有不同的尺度，ASPP模块结合空洞卷积技术提高了网络的感受野，并以不同膨胀率进行多尺度特征提取、降低分割难度，得到多尺度信息，计算量也比较小。空洞空间金字塔池化输出的数学表达式如下：

$Y=H_1^1\left(x\right)+H_3^6\left(x\right)+H_3^{12}\left(x\right)+H_3^{18}\left(x\right)+Q\left(x\right)$ (8)

上式中， $H_1^1\left(x\right)$ 为1 × 1的标准卷积； $H_3^6\left(x\right)$ 、 $H_3^{12}\left(x\right)$ 、 $H_3^{18}\left(x\right)$ 分别为膨胀率6、12、18的三个3 × 3的空洞卷积； $Q\left(x\right)$ 为池化。

经过预处理后语义分割得到的管道结霜图像如图3所示，语义分割将每个像素分类，而每种类别在调色板中对应一种颜色，所以最终的输出分割图就是含有不同颜色块的一张图。经过语义分割后的图像展现了其像素级的分割能力，降低了阈值分割的难度，提高了特征提取的准确性，为图像阈值分割、特征提取奠定了坚实的基础。

图3. 语义分割图像

3. 基于Canny算子和Hough变换的边缘直线检测

3.1. Canny边缘检测

目前常见的边缘检测算法包括Sobel算子、Canny算子及融合多尺度变换等。从各个算法检测效果来看，Canny算子因其高精度、低误差及参数调整灵活性等优势，在图像的边缘检测中得到广泛应用。针对文中研究对象，在使用语义分割及阈值分割处理后的图像中采用Canny算子进行边缘检测。

如图4检测结果表明，分别对有无进行语义分割处理的图像采用Otsu阈值分割算法。进行了语义分割处理的图像，霜层区域与背景之间没有明显的噪声影响，能够准确的展现霜层区域的边缘信息，降低边缘检测难度、提高边缘检测精准度。再利用Canny算子进行边缘检测，获取清晰、准确的图像边缘信息，且伪边缘信息较少，通过局部放大图像可表明边缘检测效果明显，局部像素误差在4 pixel左右。

图4. 图像特征提取图像

3.2. Hough直线检测

Hough变换(又称霍夫变换)本质上是一种将图像空间映射到参数空间中的技术。Hough变换具有较强的鲁棒性和高精度等优点，可有效地用于解决文中研究中针对管道霜层边缘直线检测问题。Hough变换关键在于利用累加器的投票机制根据离散化后的图像像素点，在参数空间中不断累计，找到曲线在参数空间中的交点，从而确定图像中的直线信息。文中采用经典Hough直线转换公式，如式(9)所示：

$\rho =x\cos \left(\theta \right)+y\sin \left(\theta \right)$ (9)

其中， $\left(x,y\right)$ ， $\left(\rho ,\theta \right)$ 分别表示两个不同空间下的坐标。其基本原理，如图5所示，参数坐标系下交于同一位置点的全部曲线，这些曲线对应着空间直角坐标系上同一条直线上的点，从而确定图像中的直线信息。从Hough直线检测流程中可得知，在直线检测过程中需要根据实际情况设定一个合适的阈值。阈值过大、过小都会导致直线检测误检或漏检。

表1. Hough直线检测结果对

图5. 图像空间转为参数空间

表1展示了未分割和分割的冷库排管霜层图像的Hough直线检测结果对比。在阈值为200时，霍夫直线检测结果如图6所示。在未分割的图像中，出现多条误检直线；而在经过霜层区域语义分割处理后的图像中，所有直线均在霜层边缘，显著提高检测准确率。这表明，采用语义分割预处理，再进行Hough直线检测可有效提高算法的准确性。

图6. Hough直线检测结果

4. 基于径距比例计算的霜层厚度测量

通过获取管道霜层区域图像信息，可得到边缘的像素坐标。然而，仅凭像素点坐标无法计算出厚度信息。同时，由于冷库货物存放问题导致固定摄像机难以获取理想图像，从而难以使用前后尺寸差测量方法进行分析。因此，文中采用图像径距比例计算方法，结合管道直径、间距及边缘像素坐标信息，通过对应比例关系计算排管霜层厚度。

如图7所示，冷库排管实际直径为 $d_1$ ，管道实际管间距为 $d_2$ ，管道结霜区域平均像素数为 $r_1$ ，管道结霜区域间平均像素数为 $r_2$ ，管道霜层厚度为 $w$ 。根据比例关系得到 $d_1$ 的计算公式

$d_1=r_1-2w$ (10)

管道的实际管间距为 $d_2$ 的计算公式

$d_2=2w+r_2$ (11)

图7. 径距比例图

在不同冷库中，管1、管2直径以及两管之间的管间距均可人工测量。根据文中方法获取管道霜层边缘信息，通过像素计算得到连续两条霜层边缘线之间的平均像素点个数，2、3两道霜层线像素点个数是管间距与两层霜厚之差。3、4两道霜层线像素点个数是排管直径与两层霜厚之和。可利用双管道比例关系计算出图中的管道霜层厚度。值得注意的是，在实际的图像中，管道霜层距离较长，为了保证厚度计算的精确性，将霜层区域分成若干块，并求取每一块的厚度，最终通过均值计算得到整个霜层区域的平均厚度。

5. 实验结果与分析

5.1. 实验流程

本文通过在超低温小型冷库、大型冷库内设置试验工况，对背景复杂、光线不良的顶排管、侧排管霜层区域进行处理分析。针对不同冷库、不同类型排管霜层图像存在差异的问题，采集大量原始图像进行数据集的构建，使本文方法适用于不同的冷库、不同类型排管霜层的厚度计算，实验流程如图8所示。

图8. 实验流程图

本文从徐州雨润冷库、七里沟等数十家冷库产品供应商企业收集了冷库排管霜层结霜照片，并在复杂场景下使用相机拍摄采集到1322张管道结霜图像，其中包括侧排管733张、顶排管589张，通过旋转、镜像等变换最终得到3966张排管霜层图像。这些图像含有管道和霜层两类特征，且形状各样、结霜区域随机，构成了复杂多样的数据集。

首先使用labelme标注工具对每张图像中的特征区域进行标注。标注范例如图9所示，其中包含两类标签：frost (霜层)和pipe (管道)。生成的标注文件以json格式保存，并与相应的图像数据放置在同一位置。上述构建了冷库排管结霜图像数据集，并按照合适比例将其划分为训练集、测试集和验证集。相关数据集如图10所示。

图9. 标注范例

图10. 数据集标注

具体实验流程如下：

1) 为更好地验证中值滤波的实验效果，文中首先在处理的图片上添加了椒盐噪声，密度为0.05，均值为0，方差为0.01。随后，分别采用均值滤波、高斯滤波和中值滤波进行实验。经过多次尝试，研究确定均值滤波与高斯滤波的处理结果相对较为模糊，而中值滤波能够突出管道和结霜区域的边界轮廓。因此，中值滤波优秀的处理效果为接下来的进一步计算提供了至关重要的保障。

2) 根据数据集特点选择合适的预训练模型以及配置训练参数，考虑数据集中图像类型和类别数量的情况。在保证算法结构和输入图像大小匹配的前提下，选用了DeepLabv3+算法进行预训练，旨在进一步提升分割效果。

3) 通过文中出色的分割技术，可更加精准地进行管道霜层边缘检测并获取边缘像素点坐标。相机采集到的管道霜层图像经过图像预处理、管道霜层线检测和管道霜层厚度测量三个步骤后，文中计算出管道结霜区域的像素数平均值为171，而管道结霜区域间的像素数平均值为157。此外，冷库排管的实际直径为32 mm，冷库排管之间的实际距离为218 mm。将这些结果代入公式(10)和(11)即可计算得到相应的数据。

$2w=\frac{250}{171+157}\times 157-32=87.66\text{mm}$

测量结果 $w=43.83\text{mm}$ ，人工测量的结果如表2所示，最终通过对霜层多处计算得到目标霜层平均厚度为41.95 mm，误差为1.88 mm满足冷库霜层厚度测量的需要。

表2. 人工霜层测量

5.2. 实验结果分析

为验证基于语义分割和径距比例计算冷库霜层厚度方法的准确性、适应性，对冷库排管霜层图像进行提取效果和结霜厚度计算效果分析。

准确性分析

1) 目标提取精度分析

对冷库结霜管道图像进行灰度化、中值滤波去噪等预处理方法后，分别采用文中提出的冷库结霜管道目标提取方法与传统阈值分割算法对预处理后的图像进行霜层目标提取，提取效果如图11所示。通过对比可知，文中方法可有效去除结霜管道图像中的大部分背景噪声，传统的阈值分割算法难以准确提取目标区域。

为有效反应文中方法与传统方法的效果，提出一种量化的有效性系数Q作为评价参数，其定义为提取目标噪点区域的面积与管道结霜提取区域的面积之比，Q值越小，目标提取效果越好。

$Q=\frac{C_0}{C}$ (12)

式中，C₀为提取目标噪点像素点数，C为管道结霜提取区域像素点数。

图11. 目标提取对比

采用文中方法与传统阈值算法对150幅随机拍摄的管道结霜图像进行目标提取，提取效果对比结果如表3所示：

表3. 提取效果对比

从表3可看出，基于语义分割的管道结霜区域提取方法的有效性系数Q更小，且结果稳定，鲁棒性好，明显优于传统的阈值算法。

2) 管道结霜厚度计算精度分析

为验证径距比例计算管道结霜厚度方法的准确性，采用人工检测方法精准测量排管霜层的真实像素宽度及文中算法的排管霜层厚度计算误差，结果如图12所示。正值表示计算结果比真实排管霜层像素宽度大，负值表示计算结果比真实排管霜层像素宽度小。从图12中可看出，文中算法在求解排管霜层像素宽度时的误差最大为−6 pixel，而此处的排管霜层真实像素宽度为191 pixel，由此可知，在局部得到最大误差为3.14%的排管霜层真实像素宽度，其计算精度满足实际应用。

图12. 像素计算误差

6. 结论

冷库排管结霜加剧能源消耗，更严重会危害公共安全，对冷库排管霜层厚度进行监测和测量对能源节约与安全保护具有重要意义。文中提出的管道霜层厚度测量方法，与传统的测量厚度方法相比，利用语义分割算法大大降低了背景及光照不良的影响，减少了Hough直线检测难度。文中计算方法能够有效地解决复杂环境下冷库货物堆积问题，可实时移动测量霜层厚度。并有如下结论：

1) 为了提高测量精度，需要通过像素个数来计算管道霜层厚度。因此，增加摄像机的分辨率可有效地提高这一测量过程的精度。

2) 先对结霜区域进行语义分割数据集的训练和处理，有效的减小Hough直线检测的区域可提高检测管道霜层边缘直线的准确率。

3) 文中提出的管道霜层厚度测量方法，针对不同冷库排管直径和实际间距的差异，采用相同的测量方法。通过文中算法，单目相机可有效地解决管道霜层厚度测量时位置固定的问题。

基金项目

文中受徐州市重点研发计划(产业重点技术研发)项目(KC21101)资助。

文章引用

朱睿哲,马西良,苗文军,马 彬,杜学智. 基于语义分割的冷库排管霜层厚度测量研究
Research on Measurement of Frost Layer Thickness in Cold Storage Pipe Arrays Based on Semantic Segmentation[J]. 建模与仿真, 2023, 12(06): 5430-5441. https://doi.org/10.12677/MOS.2023.126493

参考文献