PCNN
Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks
1. 關鍵字
關系抽取，遠程監督
2. 摘要
本文提出了PCNNs，用來解決遠程監督關系抽取中的兩個問題：一個是在對齊知識圖譜時的錯誤標注問題，一個是使用NLP工具提取特征時的錯誤傳播問題。對于前者，方法是將對齊問題轉化為多實例學習問題，從而將實例標簽的不確定性納入了考慮范圍；對于后者，采用成對的最大池化層來自動學習相關的特征。
3. 問題
錯誤標注問題
用遠程監督的方法來做關系抽取，需要一個知識圖譜來啟發式地對齊文本，如果對齊失敗，就會出現錯誤標注的問題。
在關系抽取領域，由于監督方法將關系抽取看作一個多分類問題，所以有一個難點就是如何在已知關系的前提下生成訓練樣本。Mintz等人提出一個假設，如果在知識圖譜中兩個實體存在某種特定關系，那么所有包含這兩個實體的句子都表達出了這種關系。這個假設有效地為任一關系生成了大量訓練樣本。但是，很明顯，這個假設是有問題的，如果句子中存在“喬布斯”和“蘋果”這兩個實體，該句子既可能表達出“創始人”這一關系，還可以表達出“離開”這一關系。這就是錯誤標注問題。
錯誤傳播問題
從監督數據中抽取特征用的都是NLP工具，工具本身不可避免的錯誤會導致錯誤傳播和累積。一般情況下，關系抽取的語料都是來自于網絡，句子長度也都超過40，McDonald證明，句法分析的準確率會隨著句子加長而顯著降低。所以，錯誤傳播不僅存在，而且會變得嚴重。
4. 方法論
為了解決錯誤標注問題，Riedil等人針對多實例學習提出了一個松弛的遠程監督假設。在多實例學習中，訓練集由一些包（bag）組成，并且每個包中又包含了一些實例（instance）。這些包的標簽是已知的，但是包中實例的標簽是未知的。多實例學習將實例標簽的不確定性納入了考慮范圍，從而聚焦于對包的區分。
為了解決錯誤傳播問題，本文擴展了Zeng等人的方法，由于單個最大池化層將急劇減少隱藏層的尺寸，所以用來捕獲細粒度特征過于粗糙，并且也不足以捕獲到兩個實體之間的結構化信息，本文在單個最大池化層的基礎上提出成對最大池化層。
5. 模型結構
向量表示
詞向量通過look up預訓練詞向量得到，同時，使用了位置特征來指定實體對，該特征同樣被轉化為向量。
- 詞嵌入：使用skip-gram模型來訓練詞向量
- 位置嵌入：位置特征被定義為句子中當前詞到實體\(e_1\)和\(e_2\)的距離
每個句子的長度為\(s\)，每個詞的詞向量維度為\(d_w\)，加上兩個位置特征\(2*d_p\)，于是一個詞向量的維度就為\(d_w+2*d_p\).
卷積
由于是給整個句子預測關系，所以需要使用所有局部特征并且做一個全局預測，卷積就是一個很好地合并所有特征的方法。
一個句子的維度是\(s*d\)，其中\(d\)是詞向量的維度。卷積和的尺寸為\(w*d\)，當剩下長度不足\(w\)的時候，填充0，于是卷積結果的長度為\(s+w-1\).
當然，為了捕捉到不同的特征，將使用n個卷積核，于是卷積結果為\(c=\{c_1, c_2, ..., c_n\}\)，\(c\)的維度為\(n*(s+w-1)\).
成對最大池化
為了捕獲到兩個實體間的結構化信息，一般的方法都考慮實體的內部上下文和外部上下文，其中內部上下文包含了兩個實體里面的字，外部上下文則是兩個實體周圍的字。
于是，根據句子中給定的兩個實體的位置將句子劃分為三段，這樣每個過濾器卷積的結果就被分為三個部分：\(\{c_{i1}, c_{i2}, c_{i3}\}\)，然后分別在這三段上分別取最大值。于是，最終最大池化的向量長度是固定的，為過濾器數量的三倍。
softmax輸出
最后經過softmax并輸出，需要注意的是，訓練是由dropout層的，但是測試的時候就不需要了。
轉載于:https://www.cnblogs.com/flyangovoyang/p/11604446.html
總結
