LSTM（long short-term memory)長短期記憶

模型基礎介紹

在標準LSTM體系結構中，有1個記憶單元狀態和3個門，即更新門Γ_u、遺忘門Γ_f和輸出門Γ_o，標準LSTM的體系結構如圖2所示。采用X₁
, X₂ , …, X_T 表示LSTM網絡中的典型輸入序列，則其中 X_{t} 表示時間 t
時的輸入特征。為了實現重要信息長時間存儲，在LSTM的整個周期內設立并維護一個記憶單元c。根據前一時間的激活單元a_t–1和當前時間的輸入
X_t ，通過3個門確定更新、維護或遺忘內部狀態向量的具體元素。

標準LSTM網絡采用編碼器—解碼器（encode-decode）結構，將輸入序列編碼成固定長度的向量表示。當輸入序列長度較短時，有較好的學習效果，但當輸入序列長度較長時，容易造成信息丟失，難以學到輸入序列合理的向量表示。

優勢

相較于傳統的RNN,其克服了存在的梯度消失和梯度爆炸問題。

不足

LSTM網絡的預測效果遠優于RNN。然而LSTM網絡是將所有輸入特征編碼成固定長度的向量表示，忽視了其與待預測負荷之間的關聯性大小，因而無法有側重地對歷史數據加以利用。

改進

本文針對LSTM算法存在的不足，提出一種基于attention機制的LSTM神經網絡。

實驗過程

實驗主要需確定網絡的輸入輸出變量、數據預處理方法、網絡結構、模型訓練方法以及網絡評價指標。

輸入輸出變量的確定

確定網絡的輸入輸出變量是確定網絡結構的基礎。假定負荷采樣頻率為每小時1次，可獲得的網絡訓練數據集為每天24h的歷史負荷數據，為提高網絡的預測效果及處理效率，需選擇合理的階數。因負荷值具有一定的隨機性，可采用計算樣本自相關系數的方法來確定輸入變量時間序列的階數。各階自相關系數反映了各滯時狀態間的相關關系，可反映序列的周期規律。時間序列h階自相關系數的計 算公式為：

簡要而言，即我們不能確定哪個時間段與我們當前時間的關系最為密切，故采用自相關系數計算來確定。

通過找到自相關系數衰減為0的階數，可確定采用 特定時段的歷史負荷數據，進行超短期負荷預測，實現
負荷歷史數據的充分利用。繪制得到負荷歷史數據集的 自相關系數如圖3所示。由圖可以看出，當階數取168
時，自相關系數衰減為0，即預測點負荷值只與預測時 刻前168 h的負荷相關，因而輸入變量選為預測時刻前 168 h的負荷數據。

此外，本文目的是預測未來某天某整點時刻的負荷值，則輸出變量選為預測點的負荷預測結果。

輸入數據預處理

數據采集過程中，存在設備故障、人為操作失誤等情況，可能會得到偏差較大 的數據或空數據，因而可進行壞數據辨別及修正，降低個別偏差較大、分布稀疏的壞數據對預測準確度的影響。
那么主要便分為壞數據辨別，壞數據修正，歸一化三個步驟

數據歸一化。為方便后續處理，對完成修正的負荷數據進行歸一化處理，將負荷數據集矩陣各元素取
值轉換在［0,1］內。歸一化公式為：

基于attention機制的LSTM網絡結構設計

attention機制模擬人腦注意力模型，其主要思想是針對輸入序列中影響輸出結果的關鍵部分分配較多的注意力，以更好地學習輸入序列中的信息。本文將attention機制作為2個LSTM網絡的接口，首先通過一個LSTM網絡處理輸入序列，實現高層次的特征學習；隨后通過合理分配注意力權重，實現記憶單元求解；最后通過再運行一個LSTM網絡實現超短期負荷預測。

模型展示

這是一個Seq2Seq模型，即編碼器-解碼器模型。

模型訓練方法

損失函數

均方誤差（mean squared error，MSE）用于反映估計量與被估計量之間的差異程度，將其作為本網絡的目標損失函數，其計算公式為：

優化器

選用Adam算法替代傳統隨機梯度下降過程，基于訓練數據和損失函數計算各參數的一階矩估計及二階矩估計，并針對計算結果動態調整每個參數的學習速率，實現網絡權重的迭代更新。訓練過程采用學習速度（learning rate，Ir）呈指數規律下降的方式，實現訓練后期最優解的確定。經多次訓練后，選取最佳優化結果。

關于Adam

Adam 是一種可以替代傳統隨機梯度下降（SGD）過程的一階優化算法，它能基于訓練數據迭代地更新神經網絡權重。
Adam介紹

網絡評價指標

平均絕對百分誤差（mean absolute percentage error，MAPE）是一種常用于衡量預測準確性的指標。本文通過該指標對網絡的負荷預測結果做出評判，其計算公式為：

之后，該模型與標準BP網絡相對比，在性能上有了明顯提升。

總結

以上是生活随笔為你收集整理的基于 attention 机制的 LSTM 神经网络 超短期负荷预测方法学习记录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。