飛槳開發者說成員：肥貓、憶臻

在做 NLP 的任務時，一個非常 basic 的操作就是如何編碼自然語言中的符號，例如詞、短語，甚至詞綴。目前流行的方法有大約三種：

???特征工程：這類方法依賴于手工特征，例如tf-idf 同時考慮詞頻和詞的稀缺度；

??統計方法：統計上常常通過矩陣分解(如SVD、EVD)來建模大規模文檔集合；

???神經網絡：目前非常流行通過神經網絡端到端的建模語言模型，得到詞向量副產品；

今天要講解的就是SkipGram 模型就屬于第三種方法，它的主要思想是利用的詞義的分布式表示。除了讓您徹底弄懂什么是語言模型以及 SkipGram 的基本原理。我們還會詳細的說明如何一步步的用飛槳(PaddlePaddle)實現它。

1．什么是詞向量

首先我們需要了解什么是詞向量。NLP和圖像不太一樣，圖像的輸入本身就是一個有數值特征的矩陣，而 NLP 的輸入通常只是一堆自然語言的符號，不方便計算機直接計算。因此，在計算語言學中，我們通常會希望用數值向量來表示這些符號。例如現在我們希望比較詞匯“米飯”與“豬肉”和“家具”之間詞義的相似性，可以考慮用下面這樣的 two-stage 范式。

? 將詞匯用向量來表示，例如這里

以及

；

??考慮某種數值距離去度量，例如內積

。這里有

。類似的，同理我們也可以得到

；從數值大小可以判斷，與“家具”相比，“米飯”和“豬肉”更相似。

從上面這個例子可以看出，使用向量數值表示法最關鍵的地方在于如何獲取詞匯的向量的表示，而 SkipGram 就是一個良方。

2．什么是語言模型

詞向量一般不是直接獲取的，而是某些任務的副產品。它們通常是隨機初始化的，然后通過不斷的數值優化過程中獲得語義信息，例如上述的相似性。因此，訓練詞向量的辦法可以有很多，但是如何高效的獲得高質量的詞向量很重要，另外任務也應該有一定的可拓展性，例如語料充足，不需要額外標注。

語言模型是一個非常好的選擇。因為它語料充足，只要有文章，有帖子，那就有數據；同時由于其任務的特殊性，不需要人工進行額外的數據標注(網上有很多稱這是無監督，但我覺得不是特別合適，不需要數據標注和無監督概念有所差異)。那么什么是語言模型呢？

語言模型就是用來衡量一句話出現的概率的。例如

?

；

?

。

顯然，第二句話一般不會出自于一個神智正常的人之口，因此他的概率很低。而一句話

的概率可以用條件概率分解如下：

這里

表示詞

的上下文，是對

的近似，否則計算復雜度是指數的。其中一種近似就是 n-gram，即

。

如上圖所示的例子，當n=5時，

?表示已知前 4 個詞，預測下一個詞的概率。由于讓模型提高 P(s) 的概率等價于讓模型提高每個 P(wi|ci)的概率，因此語言模型又可以被理解為已知上下文時中心詞不確定性的度量。

3．什么是 SkipGram

經過前兩節的解釋，相信您對詞向量有了很深的認識了。這一小節中我將會介紹 SkipGram，一種有效訓練語言模型的方法。

說到 SkipGram，一定有同學會想到 CBOW。實際上 CBOW 更符合常人的思考邏輯，它建模詞語上下文的方法很簡單，如下圖所示：

它從若干文檔的文段中隨機抽取出5 個連續的詞, 然后類似做完形填空，希望模型能夠根據上下文?預測。而 SkipGram 則恰恰相反，如下圖所示，它是拿用中心詞去預測上下文：

雖然看起來 CBOW 更合理，但很多文獻指出，用 SkipGram 訓出來的詞向量效果更好。筆者分析可能存在下面一些原因：

??? SkipGram 用一個中心詞去預測上下文，這樣相當于對這個中心詞的表示要求更高，這就好像一個學生(中心詞)同時受到了多個老師(上下文)的教導(這個學習的過程可以被理解為中間的梯度傳播)，效果肯定比一個老師教導多個學生(因此梯度是均分的，沒有區分性，而且由于梯度均分，容易破壞一個窗口中詞向量的異構性)效果要好得多；

????其次，SkipGram 這種強調中心詞的結構對某些具有較低頻率的生僻詞比較友好，因此低頻詞也可以學到質量較高的向量表示；

但可能是因為 CBOW 的結構相對簡單些，經驗顯示，CBOW 的訓練速度要比 SkipGram 快的多，因此兩者其實各有優勢。

拿上面提到的例子 “Can you please come here ?” 說明 SkipGram 的流程。假設滑動窗口的長度為 5，那么現在窗口 cover 住了片段 “can you please come here”。此時以中心詞 please 為輸入并度量與上下文 can, you,come, here 的相似度，優化時希望這個值盡量高。

在工程上，實現詞向量模型有很多trick，例如概率平滑化，高頻詞抽樣等。但如果做個 demo 不需要考慮太多這些細節。不過無論是 CBOW 還是 SkipGram 都無法規避一個問題，就是過高的詞典容量。正常情況下，英語詞典的容量在 3000 ~ 4000 上下，因此當訓練語料很大時會造成巨大的計算負擔。為了權衡質量和效率，目前最常用的方法就是負采樣。通俗的來說，就是我不再把整個詞典當成負樣本了，而是隨機抽取若干詞作為負樣本。實現時，這個隨機抽取的數量是一個超參數，大概是 20 ~ 30 之間，這樣很明顯大大提高了計算效率。另外，也有人指出，用一些重要性采樣的技術可以進一步改善效果。

4．用飛槳實現

現在你已經基本了解了什么是SkipGram，下面我們就用強大的飛槳一步一步實現它。

現在你已經基本了解了什么是SkipGram，而實現它需要借助現有的深度學習框架。飛槳是百度自主研發的深度學習框架，功能非常強大，同時支持稠密參數、稀疏參數并行訓練；靜態網絡、動態網絡等。而且有非常豐富的中英文文檔，非常方便您使用。下面我們就用強大的飛槳一步一步實現它.

首先，我們需要導入一些必要的計算庫。

#?PaddlePaddle?計算引擎.

importpaddle

frompaddle import fluid

# 一些常用的科學計算庫.

importnumpy as np

importmatplotlib.pyplot as plt

然后設置定義一些超參數，用于控制網絡結構和訓練邏輯。

EMBEDDING_DIM =64 # 詞向量維度.

WINDOW_SIZE =5 #滑動窗口大小.

BATCH_SIZE =200 #迭代 batch 大小.

EPOCH_NUM =10 #訓練的輪數.

RANDOM_STATE =0 #設置偽隨機數種子.

然后就是文本數據，這里使用飛槳自帶(會自動下載)的 PTB 數據集，導入如下：

from paddle.dataset import imikolov

word_vocab =imikolov.build_dict()

vocab_size =len(word_vocab)

# 打印 PTB 數據字典的容量大小.

print("imikolov 字典大小為 "+str(vocab_size))

# 類似 Pytorch 的 DataLoader, 用于在訓練時做 batch, 很方便.

data_loader =paddle.batch(imikolov.test(word_vocab, WINDOW_SIZE), BATCH_SIZE)

imikolov字典大小為 2074

下面我們需要搭建SkipGram 的網絡結構，我們用一個函數打包如下：

def?build_neural_network():

assertWINDOW_SIZE %2==1

medium_num = WINDOW_SIZE //2

# 定義輸入變量, 是從文本中截取的連續的文本段.

var_name_list = [str(i) +"-word"for i inrange(0, WINDOW_SIZE)]

word_list = [fluid.layers.data(name=n, shape=[1], dtype="int64")for n in var_name_list]

# 取中心詞作為輸入, 而周圍上下文作為輸出.

input_word = word_list[medium_num]

output_context = word_list[:medium_num] + word_list[medium_num +1:]

# 將輸入輸出都做詞向量表示, 并且將輸出拼起來.

embed_input = fluid.layers.embedding(

input=input_word, size=[vocab_size, EMBEDDING_DIM],

dtype="float32",is_sparse=True,param_attr="input_embedding")

embed_output_list = [fluid.layers.embedding(

input=w, size=[vocab_size, EMBEDDING_DIM], dtype="float32",

is_sparse=True,param_attr="output_embedding")for w in output_context]

concat_output = fluid.layers.concat(input=embed_output_list,axis=1)

# 用 -log(sigmoid(score)) 作為度量損失函數.

var_score =fluid.layers.matmul(embed_input, concat_output, transpose_x=True)

avg_loss =0-fluid.layers.mean(fluid.layers.log(fluid.layers.sigmoid(var_score)))

# 使用 Adam 優化算法, 并注意需要返回變量定義名.

fluid.optimizer.AdamOptimizer().minimize(avg_loss)

returnavg_loss, var_name_list

類似于 Tensorflow，運行 PaddlePaddle 計算引擎前需要一些熱身代碼。

# 確定執行的環境, 如果支持 CUDA 可以調用CUDAPlace 函數.

device_place =fluid.CPUPlace()

executor = fluid.Executor(device_place)

main_program =fluid.default_main_program()

star_program =fluid.default_startup_program()

# 固定偽隨機數種子, 一般用于保證論文效果可復現.

main_program.random_seed =RANDOM_STATE

star_program.random_seed =RANDOM_STATE

# 定義模型的架構 (之前定義函數輸出) 以及模型的輸入.

train_loss, tag_list =build_neural_network()

feed_var_list =[main_program.global_block().var(n) for n in tag_list]

data_feeder =fluid.DataFeeder(feed_list=feed_var_list, place=device_place)

下面開始訓練模型的流程，將迭代器產生的 batch 不斷喂入網絡中：

executor.run(star_program)

forepoch_idx inrange(EPOCH_NUM):

total_loss, loss_list =0.0, []

forbatch_data in data_loader():

total_loss +=float(executor.run(

main_program, feed=data_feeder.feed(batch_data),

fetch_list=[train_loss])[0])

loss_list.append(total_loss)

print("[迭代輪數{:4d}], 在訓練集的損失為{:.6f}".format(epoch_idx, total_loss))

[迭代輪數??? 0], 在訓練集的損失為 75.395110[迭代輪數??? 1], 在訓練集的損失為 2.346059[迭代輪數??? 2], 在訓練集的損失為 0.797208[迭代輪數??? 3], 在訓練集的損失為 0.413886[迭代輪數??? 4], 在訓練集的損失為 0.254423[迭代輪數??? 5], 在訓練集的損失為 0.171255[迭代輪數??? 6], 在訓練集的損失為 0.121907[迭代輪數 ???7], 在訓練集的損失為 0.090095[迭代輪數??? 8], 在訓練集的損失為 0.068378[迭代輪數??? 9], 在訓練集的損失為 0.052923

我們可以將剛才訓練過程中的損失用 matplotlib 的庫函數畫出來。

plt.plot(np.array(range(0,?len(loss_list))),loss_list)

好啦，以上就是本次所要分享。總的來說，本節我們主要講述了什么是詞向量，什么是語言模型，SkipGram 算法的內容以及其特性，相對 CBOW 來說它對低頻詞更友好，而且詞向量質量更佳，最后我們還細致的教您一步一步用飛槳實現一個簡單的 SkipGram 模型。希望您多多支持，咱們下期再會。

想與更多的深度學習開發者交流，請加入飛槳官方QQ群：796771754

如果您想詳細了解更多飛槳的相關內容，請參閱以下文檔。

官網地址：https://www.paddlepaddle.org.cn

Skip-Gram相關內容參考項目地址:

https://github.com/PaddlePaddle/models/tree/v1.5.1/PaddleRec/word2vec

總結

以上是生活随笔為你收集整理的飞桨模型保存_手把手教你用飞桨做词向量模型 SkipGram的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。