Computer Science and Application
Vol. 11  No. 10 ( 2021 ), Article ID: 45652 , 11 pages
10.12677/CSA.2021.1110247

基于轨道不平顺的机器学习方法 建模和预测

杜静伟1*,孙海燕1,赵文博2#,刘铭基3

1北京航空航天大学,北京

2中国铁道科学研究院集团有限公司基础设施检测研究所,北京

3东北财经大学,辽宁 大连

收稿日期:2021年9月8日;录用日期:2021年10月4日;发布日期:2021年10月11日

摘要

针对日常运营中火车轨道在列车荷载冲击作用下导致的轨道不平顺问题,使用机器学习方法Prophet算法和基于卷积神经网络的时间卷积网络,对轨道质量指数(TQI)数据进行建模分析和预测。对北京–上海某区段的TQI数据进行分析,并与传统模型ARIMA和三次指数平滑模型进行比较,发现其精确度更高,拟合效果更好。说明了所使用方法处理轨道不平顺数据的有效性。

关键词

轨道不平顺,机器学习,Prophet模型,神经网络,时间序列预测

Modeling and Prediction of Machine Learning Method Based on Track Irregularity

Jingwei Du1*, Haiyan Sun1, Wenbo Zhao2#, Mingji Liu3

1Beijing University of Aeronautics and Astronautics, Beijing

2Infrastructure Inspection Institute, China Academy of Railway Sciences Group Co., Ltd., Beijing

3Dongbei University of Finance and Economics, Dalian Liaoning

Received: Sep. 8th, 2021; accepted: Oct. 4th, 2021; published: Oct. 11th, 2021

ABSTRACT

According to the problem of the track irregularity caused by the impact of train load in daily operation, the machine learning method Prophet algorithm and the temporal convolutional network based on convolutional neural network are used to analyze and predict the track quality index (TQI) data. Analyzing the TQI data of a certain section from Beijing to Shanghai and comparing it with the traditional model ARIMA and Exponential Smoothing models, it is found that the accuracy of Prophet and TCN model is higher and the fitting effect is better. It illustrates the effectiveness of the method that we used to deal with track irregularity data.

Keywords:Track Irregularity, Machine Learning, Prophet Model, Neural Network, Time Series Prediction

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

铁路轨道是保障列车运行安全的重要结构,在日常运营中轨道在列车荷载的冲击作用下不可避免地会出现变形,引起轨道不平顺。随着客运、货运的高速化、重载化,列车与轨道之前的相互作用日趋剧烈,对轨道平顺性的要求越来越高,对轨道不平顺进行分析和预测防止其进一步恶化成为了保障铁路运输的重要基础。

近年来国内外有大量的学者在轨道不平顺预测方面开展了大量研究工作,预测方法主要分为两类:传统的预测方法和机器学习方法 [1]。日本学者杉山德平等利用线路的实际检测数据,对轨道不平顺的短期变化趋势进行了回归分析,并给出了轨道高低不平顺非线性预测公式 [2]。Kawaguchi提出了一种轨向不平顺变化趋势的非线性恶化模型 [3]。在机器学习预测方面Lee结合人工神经网络(ANN)和支持向量机(SVA)利用两年的轨道几何检测数据进行了平稳预测 [4]。常燕龙建立ARMA-BP组合模型对TQI进行了预测,结果表明ARMA-BP模型比ARMA模型精度更高更可靠 [5]。

经过多年研究,轨道不平顺预测问题已经取得了一些成就,但仍存在一些问题,传统的预测模型仅考虑了部分影响因素,以至所建立的模型预测精度低、预测期短,且只能针对特定线路,有较大的局限性。比如传统模型如ARIMA的时间序列预测要求序列平稳,且精度低,基于循环神经网络的长短期记忆模型在处理容量大的数据时计算缓慢。机器学习模型受益于计算机科学技术的发展,具有运算速度快、泛化能力强的优点,可以考虑多种因素影响,处理多维时间序列数据。其中LSTM、TCN以及近些年新兴起的Prophet等机器学习模型,具有灵活性高、参数可解释性强、预测精度高等优点。Prophet模型可以提取出时间序列的非线性趋势,季节性和节假日效应,可以将时间序列中突变数据自动看成“假期”,适用于有明显周期性,趋势性的时间序列。时间卷积网络(TCN)因其并行计算功能,解决了长短期记忆模型训练速度慢的问题,在预测时间序列上有更强的泛化能力,且适用于多维时间序列 [6]。

本文对以上机器学习方法预测准确性进行对比,找出最适用于轨道不平顺预测的机器学习模型,预测未来一定时期轨道不平顺发展趋势,以期发现轨道已发生或潜在病害,提前进行预防和维修,指导现场养护维修。实验结果表明,Prophet模型和TCN拟合轨道不平顺指标的精确度更高,误差更小,泛化能力强,并应用于未来半年TQI的预测。

2. 模型介绍

本节介绍机器学习中的TCN模型和Prophet模型。

2.1. TCN模型

2016年Lea等人提出了时间卷积网络(Temporal Convolutional Network, TCN),它是卷积神经网络(CNN)经过改进后处理时间序列数据的新方法,可用于时间序列数据的建模和预测。因其并发计算原理,速度相对于循环神经网络(RNN)有很大提高,具有特征提取能力强,时间序列数据处理精度和效率高,可以处理大量多维数据及长时间跨度的时间序列数据等特点 [7]。TCN方法包含了3种基本的结构:因果卷积 [8]、膨胀卷积和残差连接。

为了确保未来信息不会遗失,TCN严格按照时间先后顺序进行卷积操作。时刻t的卷积只发生在时刻 t 1 t 1 之前的数据,即对于上一层t时刻的值,只依赖于下一层t时刻及其之前时刻的值,因果卷积的结构和过程如图1所示。

Figure 1. Causal convolution

图1. 因果卷积

相对于传统的卷积神经网络,因果卷积无法见到未来数据,它一个是单向的结构,这符合时间序列的特点。设卷积核为 F = ( f 1 , f 2 , , f K ) ,其中K表示卷积核大小。若输入 X = ( x 1 , x 2 , , x T ) x T 处的因果卷积公式为

F ( x T ) = f k x T K + k (1)

单纯的因果卷积受限于卷积核的大小,对时间建模的长度有所限制。因此引入膨胀卷积,如图2所示。

Figure 2. Expansion convolution

图2. 膨胀卷积

其可以减少因果卷积在处理跨度大的时间序列的依赖关系时网络的深度,增大感受野。膨胀卷积公式为

F d ( x T ) = f k x T ( K k ) d (2)

其中d为扩张卷积系数。

深层网络容易出现梯度消失和梯度爆炸的问题,残差链接使得网络能够以跨层的方式传递信息,可以解决梯度消失和爆炸的问题 [9],使得浅层网络很容易扩展为深层网络。残差连接如图3所示。

Figure 3. Residual connection

图3. 残差连接

TCN采用并发计算方法,解决了循环神经网络模型训练速度慢的问题,在预测时间序列数据上有更强的泛化能力,且适用于多维时间序列分析。

2.2. Prophet模型

Prophet是2017年基于STL分解新开发的处理时间序列数据的机器学习框架,其中非线性趋势与年、周、日季节性,加上“节假日效应”进行拟合,对具有季节性效应的时间序列数据拟合效果较好。此外,Prophet对数据缺失和趋势变化具有很强的稳健性,通常能很好地处理异常值 [10]。Prophet工作流程如图4所示。

Prophet使用了一个可分解的时间序列模型,该模型有三个主要的组成部分:趋势项、周期项和节假日项 [11],将他们叠加可构成如下模型

y ( t ) = g ( t ) + s ( t ) + h ( t ) + ε t (3)

其中, y ( t ) 为时间序列在时间t的观测值; g ( t ) 为趋势项,模拟了时间序列值的非周期性变化; s ( t ) 为周期项,代表了周期性变化(例如年,季,月等); h ( t ) 为节假日项,代表了在一天或多天的潜在不规则时间表上发生的假期影响; ε t 为误差项,假定是服从正态分布的噪声因子。

Figure 4. Prophet model flow figure

图4. Prophet模型运行流程图

g ( t ) 公式为

g ( t ) = C 1 + e k ( t b ) (4)

其中,C代表饱和值,或者说是承载能力、容量,k 代表增长率,b代表偏移量,t代表时间。显然,随着t的增长, 1 + e k ( t b ) 趋近于1,于是 g ( t ) 趋近于C。

s ( t ) 为周期项,代表周期性变化(例如,每周、每月和每季等),其表达式为

s ( t ) = n = 1 N ( a n cos ( 2 π n t T ) + b n sin ( 2 π n t T ) ) (5)

其中T 为周期,n为不超过周期数一半的最大整数。

h ( t ) 为节假日项,代表了在一天或多天的潜在不规则时间表上发生的假期影响,其可表示为

h ( t ) = i = 1 L k i I D i ( t ) (6)

Z ( t ) = ( I D 1 ( t ) , , I D L ( t ) ) (7)

h ( t ) = Z ( t ) k (8)

k = ( k 1 , k 2 , , k L ) (9)

其中 Z ( t ) 为示性函数,L为节假日个数,k为节假日的影响范围。将训练集和预测的相同节假日设置为一个虚拟变量,用 D i 表示第i 个虚拟变量, k i 是窗口期中设定的节假日影响,一般 k i N ( 0 , σ 2 ) ,且 k 1 , k 2 , , k L 相互独立。

Prophet模型能很好地处理缺失值与异常值,运行速度快,适合工业级应用,且参数可解释性较强。Prophet模型的参数相较于神经网络模型的参数,更加清晰易懂,在调参过程中更易于改进模型效果。

3. 算例分析

本节选取2015年2月至2021年5月的轨道质量指标数据进行分析和建模预测,对其进行异常值检测预处理。使用Prophet模型和TCN模型进行建模,与ARIMA和三次指数平滑模型(Exponential Smoothing)预测结果进行对比,运用5种指标对预测准确度进行预测评估。最后使用误差指标最小,精确度最高的Prophet模型预测未来12期的轨道质量指标。

3.1. 数据处理

轨道不平顺的评价主要通过采用统计特征值指标的方法使轨道区段内所有测点的检测值都参与到运算中 [12],铁路工务部分普遍采用的轨道质量指数(TQI)作为一项统计特征值可以在一定程度上反映轨道区段整体不平顺状态及轨道恶化程度 [13]。

TQI以200 m长度轨道区段作为计量单元,对单元区段内的轨道几何进行统计,用标准差来表示单项轨道几何不平顺状态,而TQI则为一个单元区段内左高低、右高低、左轨向、右轨向、轨距、水平和三角坑等七个单项几何不平顺标准差之和,计算方法如下列公式(11)~(12)。

TQI = i = 1 7 σ i (10)

σ i = 1 n j = 1 n ( x i j x ¯ i ) 2 (11)

x ¯ i = 1 n j = 1 n x i j (12)

式中, σ i 为各单项标准差;n为采样点个数;x为不平顺幅值; x ¯ i 为第i单项的算术平均值; x i j 为第i单项第j个采样点的不平顺幅值。

同一单元区段多个检测日期的轨道不平顺计算得到的TQI构成时间序列。动态检测时,由于设备故障、天气干扰等原因可能使得某次检测数据存在异常,表现为过大或过小偏离临近几次的检测结果,视为异常值。

时间序列异常值检测常采用S-H-ESD (Seasonal Hybrid ESD)检测方法 [14],它可以检测多个异常值,且召回率高,鲁棒性强。该方法通过删除观察值来构造检验异常值的统计量。若假设时间序列有不多于M个异常值,则需进行M个假设检验,原假设为样本点不是异常值。在每一个假设检验中,计算与中位数偏离最远的残差,其中计算中位数时的数据序列应是删除前一个假设检验中最大残差样本数据后,检验统计量是残差与相应的绝对中位差的比值。与相应的临界值进行比较,若检验统计量的值大于临界值,则拒绝原假设,认为该样本点是异常点,否则接受原假设,认为该样本点不是异常点。

选取两组分别具有周期特征的K48.4区段和趋势特征的K24.4区段轨道质量指标数据,对其进行异常值检测。对K48.4区段数据使用S-H-ESD方法进行异常值检测,在显著性水平 α = 0.05 下,无异常值。

对K24.4区段数据进行异常值检测,检测结果如图5所示,该区段检测到4个异常值,剔除该异常值。在显著性水平 α = 0.10 下,检测出的异常值如表1所示。

Table 1. Orbital data outliers

表1. 轨道数据异常值

将检测出来的异常值用星号标记出来,如图5所示。

Figure 5. S-H-ESD outlier detection

图5. S-H-ESD异常值检测

原始的时间每次测量的时间间隔是不同的,这就需要进行数据处理,统一成时间间隔相同的月度数据。具体流程如图6所示。

Figure 6. Data pre-processing

图6. 数据预处理

数据重采样:将数据取月度平均;

线性插值:转换后的月度数据可能存在空值,对其进行线性插值。

3.2. 预测模型对比

本节选取2020年6月至2021年5月轨道质量指标数据进行建模分析。采用MSE (均方误差)、RMSE (均方根误差)、MAE (平均绝对误差)、MAPE (平均绝对百分比误差)、SMAPE (对称平均绝对百分比误差)等指标对模型精度进行评价。设有n个数据, y 1 , y 2 , , y n y ^ i y i 的估计值,则具体计算公式如下,数值越低表明误差越小。

MSE (Mean Squared Error):

MSE = 1 n i = 1 n ( y ^ i y i ) 2 (13)

RMSE (Root Mean Square Error):

RMSE = 1 n i = 1 n ( y ^ i y i ) 2 (14)

MAE (Mean Absolute Error):

MAE = 1 n i = 1 n | y ^ i y i | (15)

MAPE (Mean Absolute Percentage Error):

MAPE = 1 n i = 1 n | y ^ i y i y i | × 100 % (16)

SMAPE (Symmetric Mean Absolute Percentage Error):

SMAPE = 1 n i = 1 n | y ^ i y i | ( | y ^ i | + | y i | 2 ) × 100 % (17)

本节选取ARIMA、三次指数平滑模型作为比较基准,运用5种指标对预测准确度进行预测评估。各个模型对比结果如图7所示。

Figure 7. Comparison of results of different models

图7. 不同模型结果对比

图7可以看出,整体上来看Prophet模型和TCN模型的预测值比ARIMA、三次指数平滑模型的预测值更加接近真实值,进一步,也可以看出Prophet模型比TCN模型效果较优。为了更准确的比较四种模型的预测效果,在此用五种误差指标作为评价标准,其计算结果如表2所示。

Table 2. Performance comparison of different models (3 decimal places reserved)

表2. 不同模型性能对比(保留3位小数)

表2可以看出,相对于其它两种模型,综合五种指标来看,TCN模型和 Prophet模型的表现优于ARIMA、三次指数平滑模型,预测精度更高。而Prophet比TCN的综合误差更小,预测效果更好。

3.3. 模型应用

由3.2节可知,Prophet模型相对于其他模型预测效果更好,因此本小节选取两组分别具有周期特征的K48.4区段和趋势特征的K24.4区段轨道质量指标数据,使用Prophet模型进行效果分析和预测。

选取K48.4区段进行实证分析,2015年2月~2020年5月共64个数据为训练集,2020年6月至2021年5月共12个数据为测试集,并向后预测12个月。

在使用Prophet时,参数的选取直接影响到模型预测的效果。乘法季节性是一个重要参数。时间序列具有明显的周期性,但季节性并不像模型所假设的是一个恒定加法因子,可以使用乘法季节性来进行调整。另一个重要的参数是趋势变化点的范围,模型默认值为0.8,即趋势变更点只对时间序列的前80%进行推断,以便有足够的空间来预测未来的趋势,并避免在时间序列预测结束时过度拟合波动。这个默认值在很多情况下有效,但不是所有情况。经过试验,将其设置为0.95,这样扩大了趋势变更点的覆盖范围,以便更好地适应数据变化情况。

图8为Prophet拟合历史数据及预测未来12期的情况。对轨道质量指标数据做移动平均,如图8虚线部分,可以看出该区段的趋势性并不明显。

Figure 8. K48.4 section demo

图8. K48.4区段演示

图8可以看出,在预测集中,模型预测值的高点在0.75左右,超出了轨道质量指标的正常范围,说明轨道在此区段可能存在不平顺的问题,需要对此区段进行进一步的检查。对未来12个月的轨道质量情况进行预测,结果如表3所示。

Table 3. Forecast results of K48.4 in the future 12 periods

表3. K48.4区段未来12期预测结果

图8可以看出,表3的预测值延续了历史数据的周期性。

下图为K24.4区段数据图,对该区段的轨道质量指标数据做移动平均,如图9虚线部分,可以看出该区段趋势性比较强,使用prophet模型预测未来12期结果如图9所示。

Figure 9. K24.4 section demo

图9. K24.4区段演示

图9可以看出该区段呈明显的上升趋势,说明轨道不平顺问题随着使用时间增加会越来越严重。对未来12个月的轨道质量情况进行预测,结果如表4所示。

Table 4. Forecast results of K24.4 in the future 12 periods

表4. K24.4区段未来12期预测结果

图9可以看出,表4中的预测结果很好的延续了历史数据的上升趋势。

4. 结论与展望

实验证明,Prophet模型能够更好地揭示模型变量(季节性特征、增长的趋势等),比较符合实际值的发展趋势,且误差更小,模型精度和效率更高。长时间的规模预测可以帮助我们从宏观层面分析事物的变化规律与未来发展趋势。对于轨道质量指标这种具有季节性特征、趋势特征的数据,Prophet模型能够利用历史数据进行长时间的规模预测,提高了预测速度与精度,对于铁路的正常运行和及时诊断检修,保证铁路安全具有重要意义。

Prophet方法的不足之处是无法处理多维度时间序列数据,但轨道质量指标数据往往是多维度时间序列数据,而基于卷积神经网络的TCN模型可以用来处理此类数据,并因其并发式计算原理,处理数据速度快,因此可以尝试使用TCN模型进行分析和预测。而如何进行TCN模型的调参,以增强模型泛化能力和提高精确度是需要思考的问题。

使用机器学习方法对未来发展趋势进行建模和预测,从而科学合理地根据轨道几何质量状态的优劣程度编排养护维修计划,对实现维修资源的合理配置、提高维修效率等产生了极其重要的现实意义和理论价值。

致谢

感谢中国国家铁路集团有限公司系统性重大基金项目的支持。

基金项目

中国国家铁路集团有限公司系统性重大项目(P2020T001)。

文章引用

杜静伟,孙海燕,赵文博,刘铭基. 基于轨道不平顺的机器学习方法建模和预测
Modeling and Prediction of Machine Learning Method Based on Track Irregularity[J]. 计算机科学与应用, 2021, 11(10): 2417-2427. https://doi.org/10.12677/CSA.2021.1110247

参考文献

  1. 1. 常惠, 饶志强, 赵玉林. 轨道几何不平顺的预测研究进展[C]//中国计算机用户协会网络应用分会2019年第二十三届网络新技术与应用年会, 2019.

  2. 2. 许玉德, 李海峰, 周宇. 铁路轨道高低不平顺的预测方法[J]. 同济大学学报, 自然科学版, 2003, 31(3): 291-295.

  3. 3. Kawaguchi, A. and Miwa, M. (2005) Actual Data Analysis of Align-ment Irregularity Growth and Its Prediction Model. Quarterly Report of RTRI, 46, 262-268. https://doi.org/10.2219/rtriqr.46.262

  4. 4. Lee, J.S., Hwang, S.H., Choi, I.Y., et al. (2018) Prediction of Track De-terioration Using Maintenance Data and Machine Learning Schemes. Journal of Transportation Engineering Part A: Systems, 144, Article ID: 04018045. https://doi.org/10.1061/JTEPBS.0000173

  5. 5. 常燕龙. ARMA-BP组合模型在某高速铁路轨道不平顺预测中的应用[J]. 科学技术创新, 2021(12): 21-22.

  6. 6. 李志国, 钟将, 钟璐蔓. 复杂事件管理的多元时序数据处理技术研究[J]. 计算机科学, 2019, 46(6): 61-69.

  7. 7. Gan, Z., Li, C., Zhou, J., et al. (2021) Temporal Convolutional Networks Interval Prediction Model for Wind Speed Forecasting. Electric Power Systems Research, 191, 106865. https://doi.org/10.1016/j.epsr.2020.106865

  8. 8. 孔震, 张华鲁, 岳圣凯, 袁明磊, 路通. 基于时域卷积网络的多尺度双线性天气预测模型[J]. 图学学报, 2020, 41(5): 80-86.

  9. 9. 郭继昌, 吴洁, 郭春乐, 等. 基于残差连接卷积神经网络的图像超分辨率重构[J]. 吉林大学学报(工学版), 2019, 49(5): 1726-1734.

  10. 10. 沈时宇, 陈明. Prophet时序模型在短期水质溶氧预测中的应用[J]. 渔业现代化, 2020(3): 29-35.

  11. 11. 赖慧慧. 基于时间序列Prophet模型的乘用车消费税预测[J]. 税收经济研究, 2020(1): 34-39.

  12. 12. 罗微. 高低和TQI的轨道不平顺预测模型研究[D]: [硕士学位论文]. 成都: 西南交通大学, 2013.

  13. 13. 魏世斌, 杨凤春, 翁绍德. 轨道质量指数的研究和应用[J]. 中国铁道科学, 1996(2): 23-33.

  14. 14. Hochenbaum, J., Vallis, O.S. and Kejariwal, A. (2017) Automatic Anomaly De-tection in the Cloud via Statistical Learning. arXiv:1704.07706 [cs.LG]

  15. NOTES

    *第一作者。

    #通讯作者。

期刊菜单