基于循环神经网络构建了两种新的组合预测模型

【摘要】：目的:医学中的时间序列数据常常具有结构复杂、数据量大、维度高、非线性程度高,并含有噪声信息等特点。传统的时间序列分析方法已经很难满足这种复杂时间序列的分析和预测,而循环神经网络等深度学习方法的出现为复杂非线性、非平稳时间序列的预测提供了新的思路。本研究基于循环神经网络构建了两种新的组合预测模型,以期为进一步提高复杂非线性、非平稳时间序列的预测精度提供方法学支持。方法:(1)本研究结合神经网络模型优化和时间序列分解两种策略,提出了两种基于循环神经网络的复杂时间序列预测方法。其中均使用一种特殊的循环神经网络,即GRU神经网络作为预测方法的基础模型,用以解决时间序列数据自相关的问题。(2)对于神经网络的结构参数选取困难的问题,采用群智能优化算法中的三维混沌果蝇优化算法(V3CFOA)对GRU神经网络进行参数优化。V3CFOA算法结合了混沌算法来增加初始果蝇种群的多样性,并将果蝇优化算法的二维搜索空间改进为三维,增大了搜索范围,提高了收敛速度,从而使算法的全局寻优能力增强。本研究基于此方法,将构建V3CFOA-GRU组合模型,并通过实例分析,与其他优化算法和GRU神经网络进行对比分析,验证该组合预测模型的有效性。

(3)考虑到复杂时间序列的高噪声和非平稳性等特点,本研究从信号分解的角度着手,采用改进的集成经验模态分解(MEEMD)方法将原始复杂序列分解成不同频率、相对简单的信号(子序列),再使用GRU神经网络进行分析预测,来达到提高预测精度的目的。MEEMD方法基于序列的时域局部特征来自适应的分解序列,通过添加成对白噪声和设置排列熵检测,来解决模态混叠和重构误差大等问题,能够简单而高效的分解序列。本研究将构建基于MEEMD的GRU预测模型,并通过实例分析,与其他分解方法和GRU神经网络进行对比分析,验证这种组合模型的有效性。(4)实例分析数据来源于北京美国驻华大使馆监测站收集的5年每个小时的PM2.5污染物浓度和气象数据(Beijing PM2.5数据集),序列总长度为43824小时,共有PM2.5浓度、露点、温度、气压、风向,风速和累计下雨、雪的小时数8个特征变量。本研究通过使用过去一段时间内的8个变量来预测未来一小时的PM2.5浓度,训练集和测试集以3:1划分。(5)本研究中,预测模型的评估指标为均方根误差(RMSE)、平均绝对误差(MAE)、对称平均绝对百分比误差(SMAPE,%)和决定系数(R~2),前三种误差指标的值越小,说明模型的预测效果越好;决定系数值越接近1,说明模型的拟合效果越好。

结果:(1)构建了V3CFOA-GRU预测模型。使用V3CFOA方法对GRU的超参数(时间窗口大小和隐藏层单元数)进行优化,选择测试集的RMSE作为V3CFOA的适应度函数,找到使RMSE最小的一对最优超参数。再使用最优超参数构建GRU模型进行训练和预测,并评估模型的预测效果。(2)验证了V3CFOA-GRU预测模型的有效性:对比分析相同超参数设定(时间窗口为12小时,隐藏层单元数为80)下的GRU模型、标准RNN和LSTM模型,实验结果表明,相比于标准RNN获得了24.24的RMSE、14.22的MAE、30.63%的SMAPE和0.92的R~2,以及标准LSTM获得了23.54的RMSE、12.84的MAE、21.99%的SMAPE和0.93的R~2,GRU模型的RMSE、MAE、SMAPE和R~2分别为23.29、12.50、20.08%和0.93。这说明了GRU模型的预测效果比LSTM和RNN更好。对V3CFOA-GRU与FOA-GRU、PSO-GRU、GRU模型的预测结果对比分析,结果显示,FOA-GRU的RMSE、MAE、SMAPE和R~2分别为22.13、11.78、20.05%和0.93,PSO-GRU获得了22.74的RMSE、12.07的MAE、19.91%的SMAPE和0.93的R~2,都比GRU模型的预测结果更好。

相比之下,V3CFOA-GRU的预测效果最好,得到超参数时间窗口大小和隐藏层单元数分别为8和72,获得了21.27的RMSE、11.32的MAE、19.47%的SMAPE和0.93的R~2。(3)构建了MEEMD-GRU预测模型。先使用MEEMD把原始序列分解为多个本征模态函数(IMF)分量和一个剩余分量。再分别对每一个分量使用GRU模型进行训练和预测,将各分量的预测结果集合得到最终的预测结果。(4)验证了MEEMD-GRU预测模型的有效性:首先比较EMD和MEEMD的分解结果,EMD分解得到了19个分量,而MEEMD得到了16个分量。两种分解方法的剩余分量的变化图表明了在5年内PM2.5浓度有明显上升的趋势。接着对比分析了MEEMD-GRU与EMD-GRU、GRU模型的预测结果,结果显示,GRU获得了23.26的RMSE、12.34的MAE、19.87%的SMAPE和0.93的R~2,而EMD-GRU的RMSE、MAE、SMAPE和R~2分别为15.78、9.66、21.78%和0.97,MEEMD-GRU的RMSE、MAE、SMAPE和R~2分别为14.73、8.89、19.94%和0.97。

对比结果表明,MEEMD-GRU模型的预测效果最好。(5)对比MEEMD-GRU和V3CFOA-GRU的预测结果:实验结果表明,MEEMD-GRU模型的预测效果比V3CFOA-GRU模型更好。结论:与单纯使用GRU神经网络预测和其他的组合模型相比,本研究提出的V3CFOA-GRU组合预测模型和MEEMD-GRU组合模型的预测效果较好。此外,结合序列分解方法的GRU模型的预测性能明显优于结合参数优化方法的GRU模型,这提示我们先对复杂时间序列进行数据处理,降低序列的复杂度后再进行预测分析,可能对进一步提高这类数据的预测精度非常有帮助。两种方法在复杂含噪声、非线性、非平稳时间序列预测上都表现出较高的预测精度,我们可以根据具体的应用场景和实际数据质量等,选择合适的预测方法。