文章目錄

• • 0.關(guān)于Neural Network 的復(fù)雜度
  • 1.CNN 模型復(fù)雜度
  • 2.LSTM 模型復(fù)雜度
  • 3.References

---

Author: Cao Shengming
Email: caoshengming@trio.ai
Company: Trio 北京（三角獸）科技有限公司

---

0.關(guān)于Neural Network 的復(fù)雜度

NN 模型的復(fù)雜度一般可以從兩個(gè)方面來(lái)刻畫(huà)：
時(shí)間復(fù)雜度：

時(shí)間復(fù)雜度與硬件執(zhí)行息息相關(guān)，但是一般表示模型時(shí)間復(fù)雜度的方法，可以是某一層、或者產(chǎn)生某個(gè)結(jié)果所需要的操作(operation)數(shù)、所需要處理的元素(elements)個(gè)數(shù)或者完成某個(gè)操作所需要經(jīng)歷的路徑長(zhǎng)度(path length)。

空間復(fù)雜度：

空間復(fù)雜度與模型容量是息息相關(guān)的，這里我們可以將空間復(fù)雜度簡(jiǎn)單理解為模型的參數(shù)數(shù)量，也就是說(shuō) parameters per layer 就可以認(rèn)為是該層的模型復(fù)雜度。

(Note: 下邊如果不做特殊說(shuō)明，我們將先講述空間復(fù)雜度的狀況。)

1.CNN 模型復(fù)雜度

常見(jiàn)的 CNN 模型一般包含以下集中類(lèi)型的層，卷積層、池化層和全連接層。假設(shè)卷積核大小為 H*W，input channel 為 I，out channel 為 O。

輸入層和輸出層暫時(shí)先不考慮，輸入層沒(méi)有參數(shù)，而輸出層一般是全連接層，就不做單獨(dú)分析。

Convolutional Layer:
該層 filter 數(shù)量總數(shù)為 H*W*I，而每個(gè)將被映射到64個(gè)新的通道，加上每個(gè)filter 的計(jì)算要有一個(gè) bias，所以總的參數(shù)數(shù)量為(H*W*I+1)*O。

Pooling Layer:
一般的池化層屬于固定操作，沒(méi)有權(quán)重系數(shù)。

Fully Connected Layer:
全連接層也好理解，前后要是 n,m 維的輸入輸出，所以其參數(shù)數(shù)量為(n+1)*m。

2.LSTM 模型復(fù)雜度

如圖所示LSTM將一共維護(hù)4套參數(shù)，分別對(duì)應(yīng)輸入門(mén)、輸出門(mén)、遺忘門(mén)和候選態(tài)。所以總的參數(shù)數(shù)量如下所示：

Number_of_weight = 4 * Hidden_size * (Input_size + Bias + Output_size)

其中當(dāng)不做 project 的時(shí)候，Output_size 和 Hidden_size 實(shí)際上是一致的。
其中 Input_size + Output_size 實(shí)際上就是 concat[$h_{t?1}$, x] 。假設(shè)只有一個(gè) hidden unit 那么參數(shù)數(shù)量為num($h_{t?1}$) + num(x) + num(bias)，所以所有的 hidden unit 加起來(lái)只需要在前邊乘以 hidden_size 就可以。

但我們還可以整體來(lái)理解，LSTM 中的參數(shù)我們可以簡(jiǎn)化為 U ,V 兩個(gè)矩陣，其分別對(duì)輸入和輸出做映射，U 的維度為 hidden*Input，V 的維度是 hidden*hidden。所以這樣分開(kāi)理解也可以，網(wǎng)絡(luò)在學(xué)習(xí)的就是這兩個(gè)矩陣，所以總的數(shù)量為 4(hidden*Input + hidden*hidden + hidden) 這也就是我們常看到的 4(nm+ $n^2$ +n），其中 n 為 hidden_size，m 為 input_size。

3.References

https://datascience.stackexchange.com/questions/10615/number-of-parameters-in-an-lstm-model

https://stackoverflow.com/questions/38080035/how-to-calculate-the-number-of-parameters-of-an-lstm-network

http://wap.sciencenet.cn/blog-578676-1019567.html

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

總結(jié)

以上是生活随笔為你收集整理的CNN 与 LSTM 模型复杂度分析的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。