¹中国气象局气象探测中心，北京

²内蒙古锡林浩特国家气候观象台，内蒙古 锡林浩特

³河南中原光电测控技术有限公司，河南 郑州

收稿日期：2021年3月9日；录用日期：2021年4月6日；发布日期：2021年4月12日

摘要

本文利用深度学习模型迁移方法，选择基础模型瓶颈层的输出作为提取的特征，后面训练的层作为分类器，实现玉米图片发育期的自动分类识别。在深度学习框架TensorFlow下，分别搭建基于inception V3和vgg16的迁移网络，通过调整模型输入大小，搭建了基于inception V3原始尺寸、基于inception V3大尺寸和基于vgg16原始尺寸、基于vgg16大尺寸四种不同的模型。在玉米数据集上进行模型训练、测试，对比四种模型的训练精度和检测精度。结果表明针对玉米发育期识别问题，同一种基础模型搭建的迁移网络，不同尺寸模型，训练精度差别不大，测试精度大尺度模型明显优于原始尺寸模型。基于inception V3大尺寸的迁移网络，模型深，参数多，并且模型占用空间小，测试准确率高，更适合本文玉米图片的发育期分类识别。

关键词

迁移学习，分类识别，大尺寸，发育期识别，玉米发育期

A Recognition Method of Corn Development Stage Based on Transfer Learning

Dasheng Yang¹, Dongli Wu¹, Shilin Cui², Tingting Xie³, Hanxiao Zhang³

¹Meteorological Observation Center, China Meteorological Administration, Beijing

²Xilinhot National Climate Observatory, Xilinhot Inner Mongolia

³Henan Zhongyuan Photoelectric Measurement and Control Technology Co., Ltd., Zhengzhou Henan

Received: Mar. 9^th, 2021; accepted: Apr. 6^th, 2021; published: Apr. 12^th, 2021

ABSTRACT

Using the deep learning transfer method, the study selects the output of the bottleneck layer of the basic model as the extracted features, and uses the later training layer as the classifier to realize the automatic classification and recognition of the images of corn development stages. Under the deep learning framework of TensorFlow, the transfer networks based on inception V3 and vgg16 are built respectively. By adjusting the model input size, we build four different models, which are based on the original size of inception V3, the large size of inception V3, the original size of vgg16 and the large size of vgg16. The model was trained and tested on corn data set to compare the training accuracy and detection accuracy of the four models. On the recognition of corn development stages, the transfer network constructed by the same basic model and different size models had little difference on training accuracy, and the large-scale model was significantly better than the original size model on testing accuracy. Due to its features of deeper model, more parameters and taking up less space, the large-scale transfer network based on inception V3 with higher test accuracy is more suitable for the classification and recognition of corn pictures in this paper.

Keywords:Transfer Learning, Classification Recognition, Large Size, Recognition of Development Stages, Corn Development Stages

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 背景

粮食是社会稳定和谐的基础，是国家安全的物质保障，事关改革发展、政治社会稳定的大局。粮食的高产优质与气象条件密切相关，在“靠天吃饭”状况没有根本改变之前，及时获取准确可靠的农田环境及农作物生长发育信息，科学指导农事生产活动，对“三农”工作意义重大。而传统的农业气象观测工作技术落后，远不能适应当前粮食安全气象保障工作的需要，玉米作为我国重要的粮食作物之一，对玉米的发育期进行自动观测技术 [1] 研究十分迫切和必要。

近年来，计算机视觉和图像处理技术快速发展，且在农业自动化观测领域得到了广泛的应用，陆明等人 [2] 利用图像处理技术对夏玉米生育期进行了初步探究，在RGB (Red, Green, Blue)空间提取绿色像素而在HSL (Hue, Saturation, Lightness)空间提取黄色像素，根据不同颜色像素值占的比例进行发育期识别；南京信息工程大学的吴佳 [3] 通过分析传统图像处理方法识别玉米发育期的缺陷，提出了利用深度学习识别发育期的方案，但是文中把原始图片分割成81张小图进行处理，没有充分利用图像的全局特征，造成拔节期和出苗期这种识别精度差，不能满足业务推广需求。

本文利用深度学习模型迁移方法，选择基础模型瓶颈层的输出作为提取的特征，后面训练的层作为分类器，实现玉米图片发育期的自动分类识别；在深度学习框架TensorFlow下，利用玉米图片数据集，分别搭建基于inception V3和vgg16的迁移网络，通过调整模型输入大小，搭建了基于inception V3原始尺寸、基于inception V3大尺寸和基于vgg16原始尺寸、基于vgg16大尺寸四种不同的模型，通过模型训练、测试，对比四种模型的训练精度和检测精度。结果表明：同一种基础模型搭建的迁移网络，不同尺寸模型，训练精度差别不大，测试精度大尺度模型明显优于原始尺寸模型。基于inception V3大尺寸的迁移网络，模型深，参数多，并且模型占用空间小，测试精度高更适合本文玉米图片的发育期分类识别。

2. 迁移学习的特征提取和玉米发育期识别

2.1. 卷积神经网络

考虑到目前卷积神经网络 [4] 在图像处理领域表现出来的优势及其对特征刻画的优秀表现，我们的目光就聚焦到了卷积神经网络上，卷积网络通过自动学习训练数据中的特征，对特征自动进行抽取和筛选，从而得到理想的特征提取模型，相比于人工提取特征，卷积神经网络排除了人的主观因素 [5]，使特征提取更加准确和合理。下图1展示了玉米吐丝期图片经过卷积神经网络自动提取特征图的过程，从右侧的特征图我们可以直观的看出经过卷积神经网络处理，原图片中的颜色特征，纹理特征、细节特征都从不同的角度得到展现。

图1. 卷积神经网络提取玉米图片特征图

通过卷积神经网络提取特征后，再添加后面的训练层作为分类器，即可实现玉米发育期的分类识别。由于本文数据少，本文选择了迁移学习 [6]。该方法的思想是使用大数据集进行模型训练，然后使用训练好的参数对小样本进行参数微调，这样使得最终训练出来的模型具有小数据集和高精度的双重优势。

2.2. 基于基础网络迁移的玉米发育期识别网络

迁移学习目前网络上提供的模型较多，综合考虑模型参数量、模型表现、模型可得性、模型训练计算资源需求量、模型易用性等因素，本文选择了开源的vgg16和inception V3模型作为迁移学习的框架，这两个框架在ImageNet [7] 数据集上进行训练，该数据集有着1000个类别超过100万张的图片数据，这两个模型在ImageNet数据集上获得了优秀的表现。

vgg16网络由5个Conv block (卷积模块)、一个Flatten (数据压平)、一个linear (线性连接层)，一个softmax层组成，如下表1所示。该网络实现了输入尺寸224 × 224 × 3到输出1 × 1 × 1000的映射。本文基于Vgg16网络的迁移网络，把最后3个层去掉，换成一个池化层和两个dense层，同时冻结vgg16基础网络，实现了输入尺寸224 × 224 × 3到输出1 × 1 × 256的映射，最后的一个dense层的输出设置为10，即实现了本文玉米图片与识别目标10个发育期的映射。迁移新网络的架构如表2基于vgg16原始尺寸迁移的玉米发育期识别网络所示，从表2可以看出，基于vgg16原始尺寸玉米发育期迁移模型的输出瓶颈层尺寸为7 × 7 × 512，总参数为21,140,042个，迁移网络只训练133,898个参数，14,714,688个参数是冻结参数。

为了比较不同输入尺寸对模型性能的影响，本文设计了基于vgg16大尺寸玉米发育期迁移模型，即将模型的输入由原始尺寸224 × 224 × 3调整为与图片实际尺寸相匹配的2240 × 2240 × 3，其架构如表3基于vgg16大尺寸迁移的玉米发育期识别网络所示，与原始尺寸网络比较，大尺寸网络通过增大输入层尺寸，改变了瓶颈层的输出尺寸，训练参数总量没有变化。

表1. Vgg16基础网络模型

表2. 基于vgg16原始尺寸迁移的玉米发育期识别网络

表3. 基于vgg16大尺寸迁移的玉米发育期识别网络

为了更好的比较各种模型性能，本文还研究了基于inception V3迁移网络，同时搭建了基于inception V3原始尺寸迁移、inception V3大尺寸迁移的玉米发育期识别网络。表4、表5、表6分别展示了inception V3基础网络模型、基于inception V3原始尺寸迁移的玉米发育期识别网络、基于inception V3大尺寸迁移的玉米发育期识别网络。inception V3基础网络模型主体由两个Conv block模块和3个Inception Block模块组成，实现了输入尺寸299 × 299 × 3到1 × 1 × 1000的映射。本文基于inception V3的迁移网络，把最后3个层去掉，换成一个池化层和两个dense层，同时冻结inception V3基础网络，最后的一个dense层的输出设置为10，即实现了本文玉米图片与识别目标10个发育期的映射。同上vgg16，本模型也分别设计了原始尺度和大尺寸两种输入网络模型，两种模型瓶颈层输出分别为8 × 8 × 2048和92 × 92 × 2048，总参数都是23,911,210个，训练参数都是2,108,426个，冻结参数都是21,802,784个。

表4. Inception V3基础网络模型

表5. 基于inception V3原始尺寸迁移的玉米发育期识别网络

表6. 基于inception V3大尺寸迁移的玉米发育期识别网络

3. 实验与分析

3.1. 实验数据集

本文的训练集和测试集均来源于内蒙古突泉实验站的作物生长自动监测系统。通过安装在农业站上的摄像机获得特定区域的玉米特写镜头，设定每日10:00、12:00、14:00、16:00四个时间点进行自动拍摄玉米生长图像，图像分辨率最小3648 × 2736，最大4490 × 3000。数据库中累积了2019年3台不同型号设备2941张图像，涵盖了玉米从出苗到成熟的九个发育期不同场景的玉米图像，详细情况如表7玉米数据集表所示。

由于样本各个类型样本不均衡，本文采用上采样和下采样相结合的手段，即重复复制样本数量少的样本，抽样帅选样本数据量多的样本，保证各个类型样本数量均衡。

为了对比四种网络的性能，本文按照9:1的比例将均衡后的数据集分为两部分，分别作为训练集和测试集。

表7. 玉米数据集表

3.2. 结果分析

3.2.1. Vgg16不同输入尺寸模型在数据集上的训练与评估

利用2.2节中搭建的基于vgg16原始尺寸迁移的玉米发育期识别网络和基于vgg16大尺寸迁移的玉米发育期识别网络，分别训练3.1所述的训练集，生成的模型在测试集上展开测试，结果如下表8所示。其中，两种模型的训练准确率都很高，分别达到94.6%和95.5%，差别不大；但是测试准确率两种模型分别是68%和80%，差异明显。说明基于vgg16的迁移网络，大尺度模型测试精度明显优于原始尺寸模型。

表8. Vgg16不同输入尺寸模型训练与测试结果

3.2.2. Inception V3不同输入尺寸模型在数据集上的训练与评估

利用2.2节中搭建的基于inception V3原始尺寸迁移的玉米发育期识别网络和基于inception V3大尺寸迁移的玉米发育期识别网络，分别训练3.1所述的训练集，生成的模型在测试集上展开测试，结果如下表9所示。其中，两种模型的训练准确率都很高，分别达到97.3%和98.1%，差别不大；但是测试准确率两种模型分别是75%和85%，差异明显。说明基于inception V3的迁移网络，大尺度模型测试精度明显优于原始尺寸模型。

表9. Inception V3不同输入尺寸模型训练与测试结果

3.2.3. Inception V3和Vgg16迁移模型性能对比

从训练与评估结果来看，不同模型大尺寸模型的性能都要优于原始尺寸模型，现将两种网络大尺寸模型的综合性从模型深度、模型大小，参数数量，训练准确率、测试准确率方面进行对比，详细数据如表10所示。从表中对比数据可以看出，基于inception V3大尺寸的迁移网络，模型深、参数多，并且模型占用空间小，测试精度高更适合本文玉米图片的发育期分类识别。

表10. 两种迁移网络综合性能对比表

4. 结论

本文通过分析现有研究流程，找出了其性能瓶颈，然后结合卷积神经网络，提出新的特征迁移方法，在已有研究流程的基础上，完善了研究方法，搭建了四种不同的识别模型。同时，通过在本文的数据集上展开实验，证明了针对玉米发育期识别问题，同一种基础模型搭建的迁移网络，不同尺寸模型，训练精度差别不大，测试精度大尺度模型明显优于原始尺寸模型。同时也证明了基于inception V3大尺寸的迁移网络更适合本文玉米图片发育期分类识别问题。

基金项目

2020年中国气象局气象探测中心科技成果孵化项目。

文章引用

杨大生,吴东丽,崔石林,谢婷婷,张涵笑. 一种基于迁移学习的玉米发育期识别方法研究
A Recognition Method of Corn Development Stage Based on Transfer Learning[J]. 农业科学, 2021, 11(04): 270-276. https://doi.org/10.12677/HJAS.2021.114040

参考文献