本期論文

Training RNNs as Fast as CNNs

本文通過有意簡化狀態(tài)計算并展現(xiàn)更多的并行性而提出了一個替代性的 RNN 實現(xiàn)，這一循環(huán)單元的運算和卷積層一樣快，并且比 cuDNN 優(yōu)化的 LSTM 快 5-10x。該實現(xiàn)在諸如分類、問題回答、語言建模上證明了其有效性，并已在 PyTorch 和 CNTK1 中開源。

論文鏈接：https://arxiv.org/abs/1709.02755

社區(qū)討論精選

?

soloice

幾個觀點：?

1. 不就是先前 Quasi-RNN 的工作換了個殼……只不過這篇文章里實驗做的比較多，更詳實一些。但是實驗部分只和標準的 LSTM 等結(jié)構(gòu)作比較，沒有和 Quasi-RNN 比，固然可能是因為實現(xiàn)一下 Quasi-RNN 工作量太大，但我還是感覺有些避重就輕了，避開了最相關(guān)的前人工作。?

2. 訓練速度提升沒有疑問，解除了各個 gate 的時序依賴，但是我謹懷疑推斷速度會變慢。在機器翻譯那個任務里，LSTM 只要兩三層，它的方法要堆六到十層才能獲得同樣的效果；因為在解碼時只能一步一步解碼，解除時序依賴不會帶來加速（在某一步的時候還不知道未來會輸入啥呢），更多的層數(shù)可能會帶來 latency 變大。

?

countback

論文從實驗的角度上來說，確實提供了新的思路，但是論文中提出的新的 SRU implementation，實際上在 16 年 6 月份開始陸陸續(xù)續(xù)有很多論文在做類似的事情，模型設(shè)計上并沒有什么新鮮感。

隨便找了幾篇論文展示類似的idea：?

Quasi-RNN: https://arxiv.org/pdf/1611.01576.pdf?

PRU模型：https://arxiv.org/pdf/1611.06530.pdf?

MGU模型: https://arxiv.org/pdf/1603.09420.pdf

?

liujshi

下圖是 GRU 的計算單元，GRU 每一步計算都會引入上一步的隱藏變量：

下圖是 SRU 的計算單元，SRU 計算過程對依賴進行了解耦，使得前三部計算不需要依賴前面的過程，前三部就可以用矩陣拼接的方法對整個句子進行全局計算，起到了加速左右，而后面兩個方程僅僅雖然依賴前向過程，但是涉及到的計算僅僅是矩陣的按位乘法，速度很快。

但是 SRU 顯然對 C~t-1~ 的信息利用很低，所以導致其效果并不好，需要多疊堆層數(shù)才能有 GRU 一樣的效果。

?

dalegebit

有個疑問，雖然解除了 h_t 的相關(guān)性，減少了那些矩陣乘法，但是 c_t 的還是沒解除，ct 還是需要等待 c{t-1} 生成之后才能生成，還是有時間上的依賴。而且如果沒有時間上的依賴那也不叫 RNN 了。

Soloice：對的。后面的時間步當然還要等，只是減少了等待時間。本來是 gate 和 hidden state 都要等前面的時間步算完，現(xiàn)在只有 hidden state 需要等，各個時間步的 gate 可以同步算。但是，這種加速技巧是 Quasi-RNN 提出來的啊，這篇文章把 Quasi-RNN 的 recurrent unit 還簡化了一下，不過把輸出搞復雜了一點（輸出 = hidden 和 input 的加權(quán)，相當于 highway network）。

參與討論

點擊「閱讀原文」即可申請注冊 PaperWeekly 社區(qū)，快來發(fā)現(xiàn)你感興趣的論文吧。

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的Training RNNs as Fast as CNNs的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。