GloVe: Global Vectors for Word Representation

GloVe是一種用于獲取單詞向量表示的無(wú)監(jiān)督學(xué)習(xí)算法。

用于最近鄰居評(píng)估的相似性度量產(chǎn)生一個(gè)量化兩個(gè)詞的相關(guān)性的單個(gè)標(biāo)量。

兩個(gè)詞向量之間的向量差是一組更大的判別數(shù)的自然而簡(jiǎn)單的候選者。 GloVe的設(shè)計(jì)目的是使這樣的矢量差盡可能多地捕獲兩個(gè)單詞并列所指定的含義。

盡管TextCNN能夠在很多任務(wù)里面能有不錯(cuò)的表現(xiàn)，但CNN有個(gè)最大問(wèn)題是固定 filter_size 的視野，一方面無(wú)法建模更長(zhǎng)的序列信息，另一方面 filter_size 的超參調(diào)節(jié)也很繁瑣。

Bi-directional RNN（實(shí)際使用的是雙向LSTM）從某種意義上可以理解為可以捕獲變長(zhǎng)且雙向的“n-gram” 信息。

Pytorch中nn.Embedding.weight隨機(jī)初始化方式是標(biāo)準(zhǔn)正態(tài)分布，即均值μ=0，方差σ=1的正態(tài)分布。

GloVe本質(zhì)上是具有加權(quán)最小二乘目標(biāo)的對(duì)數(shù)雙線(xiàn)性模型。

GloVe的訓(xùn)練目標(biāo)是學(xué)習(xí)單詞向量，使其點(diǎn)積等于單詞共現(xiàn)概率的對(duì)數(shù)。

GloVe是將count based* 和 direct prediction**的優(yōu)勢(shì)結(jié)合起來(lái)提出的一種方法，其目標(biāo)函數(shù)如下：J(θ)=。其中表示詞i和詞j共同出現(xiàn)的頻次，f是如下所示的一個(gè)函數(shù)：

對(duì)于任意的詞i和詞j,假如有第三個(gè)詞k ，如果詞 k與詞i比詞k與詞 j有更深的關(guān)聯(lián)，那么我們可以輕易得出一個(gè)結(jié)論，即，?且這個(gè)比值較大，反之亦然。若詞k與他們兩者的關(guān)系都不大，則我們不難想象，?。

向量空間本質(zhì)都是線(xiàn)性的。

word2Vecword2Vec? 是一種預(yù)測(cè)型模型，在計(jì)算loss時(shí)，一般希望其window_size內(nèi)的單詞的概率能夠盡可能的高，可以用SGDSGD 不斷訓(xùn)練這個(gè)前向神經(jīng)網(wǎng)絡(luò)，使其能夠?qū)W習(xí)到較好的word_repesentation。

相比于RNN來(lái)說(shuō)，CNN的窗口滑動(dòng)完全沒(méi)有先后關(guān)系，不同卷積核之前也沒(méi)有相互影響，因此其具有非常高的并行自由度，這是其非常好的一個(gè)優(yōu)點(diǎn)。

LSTM的局限性：時(shí)序性的結(jié)構(gòu)一方面使其很難具備高效的并行計(jì)算能力（當(dāng)前狀態(tài)的計(jì)算不僅要依賴(lài)當(dāng)前的輸入，還要依賴(lài)上一個(gè)狀態(tài)的輸出），另一方面使得整個(gè)LSTM模型（包括其他的RNN模型，如GRU）總體上更類(lèi)似于一個(gè)馬爾可夫決策過(guò)程，較難以提取全局信息。

單個(gè)的Transformer Block主要由兩部分組成：多頭注意力機(jī)制(Multi-Head Attention)和前饋神經(jīng)網(wǎng)絡(luò)(Feed Forward)。

總結(jié)

以上是生活随笔為你收集整理的GloVe: Global Vectors for Word Representation-学习笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。