文章目錄

• abstract
• 1.introduction
• 2.Model
• • 2.1 Transition System
  • 2.2 全局和局部歸一化
• 3.訓練
• • 3.2標簽偏差問題

abstract

介紹了一種基于全局規(guī)范化轉(zhuǎn)換的神經(jīng)網(wǎng)絡模型，該模型實現(xiàn)了最先進的詞性標注、依存分析和句子壓縮結果。我們的模型是一個簡單的前饋神經(jīng)網(wǎng)絡，它運行在一個特定于任務的轉(zhuǎn)換系統(tǒng)上，但與遞歸模型相比，它的準確性更好。我們討論了全局規(guī)范化相對于局部規(guī)范化的重要性:一個關鍵的觀點是，標簽偏差問題意味著全局規(guī)范化模型可以比局部規(guī)范化模型更嚴格地表達。

• 基于全局規(guī)范化轉(zhuǎn)換的神經(jīng)網(wǎng)絡模型
• 前饋神經(jīng)網(wǎng)絡
• 全局規(guī)范化模型可以解決標簽偏差問題
• 標簽偏差問題（標簽不均衡造成的，使得模型傾向于標注同一個標簽）/不考慮上下文的棱模兩可的情況。
  • 這個問題是：在訓練語料中，a轉(zhuǎn)移b的概率，大于a轉(zhuǎn)移到c的概率，造成在進行測試時，始終只能出現(xiàn)a到b狀態(tài)。
  • lstm_crf中也遇到過，參考資料，我加上了個tanh層就好了（大概也類似于全局規(guī)范化的感覺）。
  • crf可以解決標簽偏置問題，但是貌似transition偏差過大的情況還是無法解決，所以加個tanh收縮一下？這種感覺大概？

1.introduction

• lstm很有效
• 本文證明了：全局最優(yōu)化的前饋神經(jīng)網(wǎng)絡可以達到比lstm更好的效果
• 本文model使用transition system (Nivre, 2006)和特性嵌入（Chen and Manning (2014).）
  • 集束搜索
  • CRF（全局歸一化）
  • 梁推斷beam inference
  • early updates
  • loss：CRF的loss反傳
  • 反傳時，訓練全部參數(shù)
• 全局好于局部

我們不使用任何遞歸式，而是使用束搜索來維持多個假設，并引入條件隨機域(CRF)目標的全局歸一化(Bottou et al.， 1997;勒昆等，1998;Lafferty等人，2001;為了克服局部規(guī)范化模型所遭受的標簽偏差問題。由于我們使用梁推斷，我們通過對梁中的元素求和來近似配分函數(shù)，并使用早期的更新(Collins和Roark, 2004;周等，2015)。我們基于這個近似全局歸一化計算梯度，并基于CRF損耗對所有神經(jīng)網(wǎng)絡參數(shù)進行完整的反向傳播訓練。
在第3節(jié)中，我們將重新討論標簽偏差問題，以及全局規(guī)范化模型比局部規(guī)范化模型更嚴格地表達的含義。前向功能可以部分地緩解這種差異，但不能完全彌補這一點，我們稍后再回來。為了實證地證明全局規(guī)范化的有效性，我們評估了我們的模型在詞性標注、語法依賴解析和句子壓縮(第4節(jié))方面的效果。特別是在《華爾街日報》(the Wall Street Journal)的依賴關系分析中，我們獲得了94.61%的未標記依賴評分，這是有史以來發(fā)表得最好的一次。
正如在第5節(jié)中更詳細地討論的，我們還優(yōu)于以前用于基于神經(jīng)網(wǎng)絡轉(zhuǎn)換的解析的結構化訓練方法。我們的燒蝕實驗表明，我們的性能優(yōu)于Weiss等人(2015)和Alberti等人(2015)，因為我們對所有的模型參數(shù)進行了全局反向傳播訓練，而他們在訓練模型的全局部分時固定了神經(jīng)網(wǎng)絡參數(shù)。
我們也超過了Zhou等人(2015)，盡管使用了更小的光束。為了進一步說明標簽偏差問題，我們提供了一個句子壓縮的例子，其中局部模型完全失敗。然后，我們演示了一個沒有任何前向特性的全局規(guī)范化解析模型幾乎與我們的最佳模型一樣準確，而局部規(guī)范化模型在準確性上損失了10%以上的絕對準確性，因為它不能有效地合并可用的證據(jù)。
最后，我們提供了一個名為SyntaxNet的方法的開源實現(xiàn)，我們將其集成到流行的TensorFlow2框架中。我們還提供了一個預先培訓的、最先進的英語依賴解析器，名為“Parsey McParseface”，我們對它進行了調(diào)優(yōu)，以平衡速度、簡單性和準確性。

2.Model

我們的模型的核心是一個基于增量轉(zhuǎn)換的解析器(Nivre, 2006)。要將其應用于不同的任務，我們只需要調(diào)整轉(zhuǎn)換系統(tǒng)和輸入特性。

2.1 Transition System

2.2 全局和局部歸一化

• ZL是局部歸一化
• 用集束搜索來找上面最大化的解
• CRF:(全局歸一化）
  
  

3.訓練

• 再用上beam-search和early-update
  

3.2標簽偏差問題

直觀地說，我們希望該模型能夠修改在搜索過程中做出的早期決策，當稍后的證據(jù)可用時，可以排除早期決策不正確的可能性。乍一看，與波束搜索或精確搜索相結合使用的局部規(guī)范化模型似乎能夠修改早期的決策。然而，標簽偏差問題(見Bottou (1991)， Collins(1999)第222-226頁，Lafferty et al. (2001)， Bottou and LeCun (2005)， Smith and Johnson(2007))意味著局部規(guī)范化模型修改早期決策的能力非常弱。
本節(jié)通過證明全局規(guī)范化模型比局部規(guī)范化模型更嚴格地表達性，給出了關于標簽偏差問題的正式觀點。這個定理最初是由史密斯和約翰遜(2007)提出的。
作為證據(jù)的這個例子清楚地說明了標簽偏差問題
全局模型可以比局部模型更嚴格地表達，考慮一個標記問題，其中的任務是將輸入序列x1:n映射到?jīng)Q策序列d1:n。首先，考慮一個局部規(guī)范化模型，在對決策di進行評分時，我們將評分函數(shù)限制為僅訪問第一個i輸入符號x1:i。我們將很快回到這個限制。得分函數(shù)ρ否則會是一個元組的任意函數(shù)

• 標兩種標簽都可以的情況下，局部歸一化無法解決，但是全局歸一化可以考慮上下文得到正確答案。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結

以上是生活随笔為你收集整理的论文学习21-Globally Normalized Transition-Based Neural Networks（2016，标签偏差问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。