1. 長短時記憶神經網絡

1.1 長短時記憶神經網絡

• 長短時記憶神經網絡（Long Short Term Memory, LSTM ）是一種RNN特殊的類型，可以學習長期依賴信息。在很多問題上，LSTM都取得巨大的成功，并得到了廣泛的應用。
• LSTM能夠有效捕捉長序列之間的語義關聯, 緩解梯度消失或爆炸現象. 同時LSTM的結構更復雜, 它的核心結構可以分為四個部分去解析，具體包括遺忘門、輸入門、細胞狀態、輸出門

1.2 LSTM的網絡結構

• 遺忘門：LSTM的遺忘門通過sigmiod函數決定哪些信心會被遺忘，經過sigmoid函數，會輸出0~1之間的一個值，這個值會和前一次的細胞狀態進行點乘，從而決定遺忘或者保留
  

• 輸入門：LSTM的輸入門決定哪些新的信息會被保留，這個過程有兩步：

  • 輸入信息經過sigmoid層決定哪些信息會被更新
  • tanh會創出一個新的候選向量，后續會被添加到細胞狀態中

• 細胞狀態更新：

  • 舊的細胞狀態和遺忘門結果相乘
  • 然后加上輸入門和tanh相乘的結果
    

• 輸出門：LSTM的輸出決定哪些信息會被輸出，同樣這個輸出經過變換之后會通過sigmoid函數的結果來決定那些細胞狀態會被輸出。

1.3 步驟

• 步驟一：導入工具庫

import torch import torch.nn as nn

• 步驟二：LSTM網絡搭建

class LstmModel(nn.Module):def __init__(self):super(LstmModel,self).__init__()self.rnn = nn.LSTM(input_size=1,hidden_size=32,num_layers=1)self.out = nn.Linear(32,1)def forward(self,x,h):# x (time_step, batch_size,input_size)out,h = self.rnn(x,h)prediction = self.out(out)return prediction,h

• 步驟三：輸出模型結構

rnn = LstmModel() print(rnn)

1.4 運行結果

運行結果： D:/Users/tarena/PycharmProjects/nlp/unit30/lstm_model.py LstmModel((rnn): LSTM(1, 32)(out): Linear(in_features=32, out_features=1, bias=True) )Process finished with exit code 0

總結

以上是生活随笔為你收集整理的二十五、长短时记忆神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。