(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111518438.5 (22)申请日 2021.12.13 (71)申请人 浙江树人 学院 （浙江树人 大学） 地址 312303 浙江省绍兴 市柯桥区杨汛桥 镇江夏路2016号 (72)发明人 刘半藤　陈唯　王柯　谢阳青　 陈友荣　 (74)专利代理 机构 绍兴市寅越专利代理事务所 (普通合伙) 33285 代理人 潘敏 (51)Int.Cl. G06Q 10/04(2012.01) G06N 3/04(2006.01) (54)发明名称 基于RAdam-DA-N LSTM时间序列预测方法 (57)摘要 本发明涉及时间序列预测方法技术领域， 具 体涉及基于RAdam ‑DA‑NLSTM时间序列预测方法， 本发明通过种嵌套式LS TM神经网络， 一个新的内 部LSTM单元结构被采用作为LS TM的记忆细胞， 使 模型能够指导性的记忆遗忘和记忆选择， 提高模 型预测精度， 然后构建基于双阶段注 意力机制的 自编码器网络， 采用基于输入注 意力机制的编码 器和基于时间注意力机制的解码器选择时间序 列的输入特征和隐藏状态特征， 改善传统LS TM的 注意分散缺陷问题， 最后采用RAdam优化器求解 目标函数， 其能根据方差分散度， 动态地选择 Adam和SGD 优化器， 并构建整 流器项， 使得自适应 动量得到充分表达， 增强模型的稳定性， 从而使 得本方法具有更高的预测精度和稳定性。 权利要求书4页 说明书9页 附图3页 CN 114282713 A 2022.04.05 CN 114282713 A 1.基于RAdam ‑DA‑NLSTM时间序列预测方法， 其特 征在于， 包括以下步骤： (1)构建嵌套式LSTM神经网络； (2)采用双阶段注意力机制的自编码器， 选择时间序列的输入特征和隐藏状态特征， 构 建基于双阶段注意力机制的自编码器网络； (3)采用RAdam优化器优化 求解目标函数。 2.根据权利要求1所述的基于RAdam ‑DA‑NLSTM时间序列预测方法， 其特征在于， 在步骤 (1)中， 所述的嵌套式LSTM神经网络， 分为内部LSTM和外部LSTM， 内部LSTM和外部LSTM的门 控系统运算方式与传统LSTM 保持一致， 其共有4个门控系统， 分别是遗忘门、 输入门、 候选记 忆细胞和输出门， 其中各门的计算公式如下： 遗忘门为： ft＝σ(Wftxt+Wfhht‑1+bf)； 输入门为： it＝σ(Wixxt+Wihht‑1+bi)； 候选记忆细胞为： 输出门为： ot＝σ(Woxxt+Wohxt‑1+b0)； 记忆细胞为： 新一轮的隐藏状态为： ht＝ot·tanh(ct)， 式中， σ 为sigmoid函数， Wfx和Wfh为外部LSTM遗忘门权重矩阵， Wix和Wih为外部LSTM输入 门权重矩阵， Wcx和Wch为外部LSTM 候选记忆细胞权重矩阵， Wox和Woh为外部LSTM输出门权重矩 阵， bf、 bi、 bc和bo分别为外部LSTM的遗忘门、 输入门、 候选记忆细 胞和输出门的偏置， xt、 ht‑1 和ct‑1分别为外部LSTM的当前输入、 上一轮的隐藏状态和记忆细胞， 和 为内部LSTM 遗忘门权重矩阵， 和 为内部LSTM输入门权重矩阵， 和 为内部LSTM候选记忆细 胞权重矩阵， 和 为内部LSTM输出门权重矩阵， 和 分别为内部LSTM的 遗忘门、 输入门、 候选记忆细胞、 输出门的偏置， 和 分别为内部LSTM的当前输入、权　利　要　求　书 1/4 页 2 CN 114282713 A 2上一轮的隐藏状态和记 忆细胞； 输出层输出为： yt＝σ(Wyhhi)， 式中， Wyh为输出层权 重矩阵。 3.根据权利要求1所述的基于RAdam ‑DA‑NLSTM时间序列预测方法， 其特征在于， 在步骤 (2)中， 所述的双阶段注意力机制的自编码器分为基于输入注意力机制的编码器和基于时 间注意力机制的解码器。 4.根据权利要求3所述的基于RAdam ‑DA‑NLSTM时间序列预测方法， 其特征在于， 所述的 基于输入注意力机制的编码器由输入注意力机制和LSTM1构成， 其 求解过程如下： 1)RAdam‑DA‑NLSTM在编码器上使用了输入attention对X做了预处理， 输入attention 对应的query、 key和value， 其中： query： LSTM1 的上一个hi dden state hi‑1和cell state st‑1拼接起来[hi‑1； st‑1]作为 attention的query； key： 使用作为第n条时间序列整条序列信息作为 key； value： 使用作为第n条时间序列整条序列信息作为value； 2)通过query和key进行计算得到了注意力分数 再通过softmax进行归一化得到每 条序列的权重 通过每条序列权重 和序列信息 可以得到预 处理后的 再将其作为 LSTM1的输入进行处 理， 最终得到每 个时间点t对应的编码层hid den state ht， 其中： 式中， We和Ue为需要训练的参数， [hi‑1； st‑1]为输入at tention的query， xn为第n条训 练序列， 即为输入at tention的key； tanh表示tanh函数， f1表示单元LSTM1计算方式。 5.根据权利要求3所述的基于RAdam ‑DA‑NLSTM时间序列预测方法， 其特征在于， 所述的 基于时间注意力机制的解码器由时间注意力机制和LSTM2构成， 其 求解具体如下： 1)RAdam‑DA‑NLSTM在解码器上使用了时间attention对ht做了预处理， 时间attention 对应的query、 key和value分别为： query： LSTM2的上一个时间步的hidden  statedt‑1和cell state 拼接起来 作为query； key： 各个时间点的LSTM1的hid den stateht作为key； value： 各个时间点的LSTM1的hid den stateht作为value； 2)通过query和key进行计算得到了注意力分数 然后通过softmax进行归一化得到 每个时间点对应的hid den state的权 重 其中：权　利　要　求　书 2/4 页 3 CN 114282713 A 3