本文對Semi-supervised sequence tagging with bidirectional language models一文做一個簡短介紹，該文發表在ACL2017.

一、任務介紹

利用語言模型學習得到的RNN表示，來增強有監督的序列標注任務。

往往序列標注的數據集是有限的，在有限的數據下，模型很難學習到一個足夠好的embedding來表示單詞。

本文通過語言模型可以利用到大量沒有標注的數據，來增強單詞的語義表示。

二、模型

做法也很簡單，

1）第一步用大量的未標注數據進行前向和反向語言模型的訓練，預訓練好兩個RNN網絡。

2）對于給定句子中每一個單詞，例如“New”，先得到單詞的embedding表示，然后經過第一層雙向RNN，得到隱層表示。

這個時候該句子經過預訓練好的兩個RNN網絡，得到New的前后RNN輸出表示，與之前的網絡隱層進行拼接，輸入到第二層RNN網絡中，進行序列標注。

比起正常的序列標注模型來，多了一個拼接預訓練好語言模型的輸出表示。這一塊多余的東西還不用標注，豈不妙哉。

三、實驗

主實驗如table1所示，我們可以看出，性能從90.87提高了91.93，增加了一個多點，效果還是挺明顯的。

至于語言模型的輸出到底加在RNN的哪一層，作者也做了實驗：

發現加在第一層RNN的輸出的時候結果最好，不要問為什么，問了就是煉丹。

四、貢獻

本文沒有在基本的序列標注模型再繼續搞一些fancy的騷結構，或者其它懟模型的操作，而是采用半監督方法創新的利用大量沒有標注的數據來提高性能，很nice。

整篇文章通俗易懂，賞心悅目。

PS：如果覺得本文對你有任何幫助，希望右下角點個【在看】，謝謝。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（pdf更新到25集）備注：加入本站微信群或者qq群，請回復“加群”獲取一折本站知識星球優惠券，請回復“知識星球”

喜歡文章，點個在看

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【论文浅析】Semi-supervised sequence tagging with bidirectional lm的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。