目的之類的就不用說了，直接說pcnn做實體關(guān)系抽取的過程：

1、把輸入轉(zhuǎn)換成對應(yīng)的向量：

上面的輸入是 I hired Kojo Annan,the son of Kofi Annan,in the company；

兩個實體我用紅體標(biāo)出來了；

轉(zhuǎn)換的向量實際上包含兩部分，一是這個詞經(jīng)過訓(xùn)練好的矩陣looking up得到的向量，假設(shè)是d維；二是位置向量；

假設(shè)hired這個字吧，離實體的距離分別是-1和-6，son距離兩個實體的距離分別是3和-2，然后呢，隨機(jī)初始化位置矩陣，再相乘得到的就是位置向量，顯然位置向量有兩個，畢竟有兩個距離，假設(shè)每個是p維；那么這個字的向量維度就是d =?d1+p*2。上面圖中一共是6維，那么輸入就是12*6.因為這個句子中一共有12個字，也就是sequence_length（包含了標(biāo)點），相當(dāng)于輸入是sequence_length?×（d1+p*2）

2、卷積：

把上面的輸入當(dāng)做S，每個字的向量是q(i)，每個維度是d；

卷積操作實際上就是一個權(quán)重矩陣w，嗯就是這樣的哈哈，這個W是（w*d），w是濾波器的長度,這個長度是干嘛的我們后面說，這里假設(shè)w=3；

論文這里提出來一個新的概念，就是q(i:j)，指的的q(i)和q(j)的串聯(lián)，具體來說就是把第i的字的向量到第j個字的向量整合到一起，按道理來說這里做處理可以得到字之間潛在的關(guān)系。這里i和j之間的長度就是w，下面細(xì)說；

看個論文中的公式：c(j) = w q ( j-w+1 : j )；

這里是點乘，所以c(j) 的維度就是1，j的取值區(qū)間是1到s+w-1，s就是sequence_length ，so向量C的維度很明顯了就是s+w-1；

j = 1時，c(1) = w q ( -1 : 1?)哈？q是從1開始的呀，沒有-1呀，這個時候就是index超出輸入S的范圍，補(bǔ)0就好了，q(-1)和q(0)各補(bǔ)6個0就好了（因為我們上面說過每個字的輸入維度是6），這樣q ( -1 : 1?)的維度就是18（w*d=3*6），濾波器矩陣（權(quán)重矩陣）的維度也是18（w*d=3*6），嗯就是這樣，這樣就得到上圖中convolution層中的綠色那一列；

但convolution層中有三列呀？！那就多設(shè)置幾個w就好了，這個時候整個大的W = {w1, w2, w3, ...... wn}；

這樣就可以得到n列的c了，這個時候C的維度就是n×（s-w-1）

3、piece Max Pooling

字面意思就是最大值池化，和圖像中的處理類似，但這里會損失到很多的信息，因為是從幾個值中取最大值，其余的全部拋棄，但很多論文中說取了最大特征（即保留了最大值），雖然我并不認(rèn)同。論文中做了一個處理就是把一個句子根據(jù)兩個實體的位置分成三個部分（所以論文叫piecewise）；

然后呢，然后呢，取每個部分的最大值，（哈哈哈哈哈哈哈哈，我服了），具體過程就是convolution我們不是得到的C矩陣是n×（s-w-1），即n個列向量，每個維度是?s-w-1 ；把每個s-w-1分成三部分，取每部分的最大值，那么每個s-w-1向量經(jīng)過pooling之后都會變成3維；

所以經(jīng)過整個pooling之后再拼接就是一個1 × （3*n）向量

g = tanh(C)

4、全連接輸出

? ? o = W1 (g & r) + b。&符號是我隨意寫的，實際就是點乘；

? ? 很明顯吧，這不就是一般網(wǎng)絡(luò)最后一層嘛，全連接層，但本論文對倒數(shù)第二層做了dropout，具體操作就是加了個伯努利隨機(jī)? ? ? 初始化的矩陣，值的范圍0到1，然后與g點乘，論文叫masking操作。（這一部分最后論文寫了幾句話，在測試時，學(xué)習(xí)得到? ? ? 的權(quán)重矩陣W1按比例放大W1 = p * W1，dropout = 1，然后用來計算未出現(xiàn)過的實例的得分？？？？）

5、多實例學(xué)習(xí)

? ? 目的：為了緩解錯誤標(biāo)簽問題提出的這一部分。

? ? 1、參數(shù)θ?= （E，PF1, PF2, W, W1） E是字向量，PF是位置向量，其余兩個就是要學(xué)習(xí)得到的矩陣

? ? 2、有T個tags，每個tag（M(i)）里面有q個實例，其中一個實例就是m(ij)，表示第i個tag的第j個實例

? ? 3、輸出o中的第r個元素就是關(guān)系r的可能性

? ? 4、3中提到的可能性的計算就是歸一化

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? 5、multi-instance learning的目的是discriminate bags而不是instances。計算每個bag水平上的交叉熵。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? ?整個過程如下圖：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ?最大化J就好了，具體過程你們自己理解吧哈哈哈哈哈，吃東西去了！！！！

?

?

總結(jié)

以上是生活随笔為你收集整理的pcnn关系抽取论文阅读总结：尽量细节表现出来的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。