鏈接：https://arxiv.org/pdf/1610.09893.pdf

動機(jī)

在NLP任務(wù)中使用RNN已經(jīng)被證明是很有用的模型方法。但是傳統(tǒng)的RNN在NLP中的應(yīng)用有一個很大的限制：RNN的輸出輸入Embedding占用的空間太大，比如1024維10M詞表大小的Embedding矩陣就要占掉40GB，這在大部分的GPU上都是不可訓(xùn)練的。本文的目標(biāo)就是解決Embedding過大和參數(shù)過多的問題。

亮點

文章的亮點主要包括：

1. 通過二維Embedding使得參數(shù)所占空間和數(shù)量大幅減少，訓(xùn)練更快，使得手機(jī)甚至嵌入式訓(xùn)練成為可能

2. 由于單詞安排的形式語義性表達(dá)更豐富，在NLP任務(wù)上能夠不輸于甚至超過一維的情形

概念

2-ComponentShared Embedding：維度共享的Embedding.

• 每個word的詞向量劃分為行向量和列向量，同一行的詞共享行向量，同一列也如此

• 兩個Embedding 矩陣的大小減為

，

方法

⒈ 新的RNN以適應(yīng)新的Embedding形式

相較于傳統(tǒng)RNN：

a. 在t時刻的輸入拆成兩個（行列向量）由于矩陣U在兩個小RNN中都一樣，也可以看成傳統(tǒng)的RNN交替輸入行列向量

b. 顯然只有都知道當(dāng)前的行列向量才能預(yù)測下一個詞，所以預(yù)測的行列向量跟輸入錯開了一個單元。

c. 由于錯開，最后一次沒得原始輸入，需要將最后一個預(yù)測出來的行向量接過來

行列向量的softmax.最終的概率為二者相乘.

⒉Bootstrap for Word Allocation，重新分配詞表中單詞的位置

a.隨機(jī)分配詞表中單詞的位置

b.訓(xùn)練模型得到embedding.

c. 調(diào)整單詞的位置，使得最小化訓(xùn)練集中所有句子的NegativeLog Likelihood.

其中lr(w,r(w))表示單詞w安排在r(w)行時出現(xiàn)在位置r的概率. lc則是列. 現(xiàn)在將單詞w換到其他行或者列中，得到lr(w,i), 再重新計算此NLL，比如：

位置	1	2	3
1	I	you	dislike
2	NUAA	PKU	love
3	hate	we	ZJU

?

???? 對于I love ZJU，ZJU對應(yīng)的lr(w,r(w))即為-log(3,3)，其中(3,3)表示第三行出現(xiàn)在句子的第三個位置的概率?，F(xiàn)在將ZJU換到第二行, 對應(yīng)的lr(w,2)= -log(2,3).其實也就是改為計算I Love Love這句話的概率，而任意的概率lr(w,i)和lc(w,j)已經(jīng)在RNN模型的softmax中計算過了。直接帶入即可.

最后，因為ZJU占據(jù)了Love的位置，Love也要找下一個位置，所以這個問題是所有的單詞全部重新排列，選取最小的NLL。這是個二分圖的最小權(quán)值匹配問題.有現(xiàn)成的算法可以計算.

實驗

????????????????????????????????????????????????????????????????????????????

⑴. 比較的指標(biāo)：PPL

T是預(yù)料中的所有token數(shù)量。

⑵. 各數(shù)據(jù)集的情況：（token數(shù)和詞典大小）

???? (3) BillonW數(shù)據(jù)集的結(jié)果：

可以看出在BillionW中不僅超越了stateof art的模型性能，而且大幅減少了訓(xùn)練參數(shù)的數(shù)量和空間大小.

總結(jié)??????????????????????????????????????????????????

本文提出了一種可以大幅減少RNN在NLP中應(yīng)用時的Embedding矩陣的大小和數(shù)量，同時又不削減性能的方法。

?

論文筆記整理：吳楊，浙江大學(xué)碩士，研究方向為知識圖譜、自然語言處理。

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | LightRNN：存储和计算高效的 RNN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。