1. 情感傾向性分析

長短時記憶網(wǎng)絡(luò)的基本概念

長短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）是一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)，是為了解決一般的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）存在的長期依賴問題而專門設(shè)計(jì)出來的，所有的RNN都具有一種重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)叫问健?/p>

• LSTM網(wǎng)絡(luò)結(jié)構(gòu)
• LSTM的門控機(jī)制
• LSTM的變種

2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

2.1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)及其特點(diǎn)

• 基于RNN結(jié)構(gòu)設(shè)計(jì)，從左到有依次閱讀整個句子，并不斷更新記憶。
• LSTM在不同cell之間傳遞的是2個記憶信息，而不像循環(huán)神經(jīng)網(wǎng)絡(luò)一樣只有一個記憶信息。
  

2.2 LSTM內(nèi)部結(jié)構(gòu)

• 區(qū)別于循環(huán)循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM最大的特點(diǎn)是，在更新內(nèi)部記憶的時候，引入了遺忘機(jī)制，那就是：允許網(wǎng)絡(luò)忘記一些過去閱讀過程中看到的一些無關(guān)緊要的內(nèi)容，只保留有用的歷史內(nèi)容，通過這種方式，延長了記憶長度。
  

3 LSTM門控機(jī)制

3.1 LSTM的關(guān)鍵：細(xì)胞狀態(tài)

• 細(xì)胞狀態(tài)類似于傳送帶，直接在整個鏈上運(yùn)行，只有一些少量的線性交互。信息在上面保持不變會很容易實(shí)現(xiàn)。
  
• LSTM通過“門控機(jī)制”讓信息選擇性通過，來去除或者增加信息到細(xì)胞狀態(tài)
• 包含一個sigmoid神經(jīng)網(wǎng)絡(luò)層和一個piontwise乘法操作。
• Sigmiod層輸出0到1之間的概率值，描述每個部分有多少量可以通過。
  

3.2 遺忘門

• 第一步：決定從“細(xì)胞狀態(tài)”中丟棄什么信息
  

3.2 輸入門

• 第二步：決定放什么信息到“細(xì)胞狀態(tài)中”
  

3.3 更新狀態(tài)

• 第三步：更新細(xì)胞狀態(tài)
  

4 LSTM變種

4.1 變種1

• 增加窺視孔鏈接（peephole connection）
• 讓門層也會接受細(xì)胞狀態(tài)的輸入
  

4.2 變種2

• 通過使用coupled忘記和輸入門
• 之前是分開確定需要忘記和添加的信息，這里是一同作出決定。
  

4.3 變種3:GRU

• GRU有兩個門，分別為更新門和重置門，即圖中的zr和rt更新門用于控制前一時刻的狀態(tài)信息被帶入到當(dāng)前狀態(tài)中的程度，更新門的值越大說明前一時刻的狀態(tài)信息帶入越少，重置門用于控制忽略前一時刻的信息的程度，重置門的值越小說明忽略的越多。
  

總結(jié)

以上是生活随笔為你收集整理的自然语言处理之长短时记忆网络(六)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。