在碎片化閱讀充斥眼球的時(shí)代，越來(lái)越少的人會(huì)去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會(huì)快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第?86?篇文章

本期推薦的論文筆記來(lái)自 PaperWeekly 社區(qū)用戶 @handsome。這篇論文是 COLING 2018 的 Most reproducible Paper。作者用 PyTorch 實(shí)現(xiàn)了一個(gè)統(tǒng)一的序列標(biāo)注框架，重現(xiàn)了 CoNLL 2003 English NER、CoNLL 2000 Chunking 和 PTB POS tagging 這三個(gè)數(shù)據(jù)集上不同模型的的表現(xiàn)。值得一提的是，基于這個(gè)統(tǒng)一的框架，作者對(duì)一些已有工作的一些不一致的結(jié)論進(jìn)行了反駁，提出了一些新的看法。對(duì)于實(shí)踐者而言，這篇論文還是很有借鑒意義的。

如果你對(duì)本文工作感興趣，點(diǎn)擊底部閱讀原文即可查看原論文。

關(guān)于作者：梁帥龍，新加坡科技設(shè)計(jì)大學(xué)博士生，研究方向?yàn)樽匀徽Z(yǔ)言處理。

■?論文 | Design Challenges and Misconceptions in Neural Sequence Labeling

■ 鏈接 | https://www.paperweekly.site/papers/2061

■ 源碼 | https://github.com/jiesutd/NCRFpp

引言

這篇論文是 COLING 2018 的 Best Paper 之一 “Most Reproducible Paper”，論文基于的 PyTorch 代碼框架 NCRF++ 也收錄于 ACL 2018 的 Demo Paper。

作者用一個(gè)統(tǒng)一的序列標(biāo)注框架實(shí)現(xiàn)了不同模型架構(gòu)在 NER, Chunking, POS Tagging 數(shù)據(jù)集上的表現(xiàn)，并對(duì)已有工作的一些不一致的結(jié)論進(jìn)行了檢驗(yàn)，發(fā)現(xiàn)了新的結(jié)論。代碼在 Github 上已經(jīng)開(kāi)源，使用文檔也非常詳盡，做序列標(biāo)注的童鞋們又多了一把利器可以使用。

任務(wù)

• CoNLL 2003 英文的命名實(shí)體識(shí)別 (NER)?

• CoNLL 2000 Chunking?

• PTB POS Tagging

模型

字符序列表示

在詞的表示方面，本文摒棄了基于傳統(tǒng)的特征的方法，直接使用詞本身的信息進(jìn)行編碼。除了詞向量以外，為了更好地對(duì)那些不常見(jiàn)的詞編碼，文章使用 LSTM 或者 CNN 對(duì)構(gòu)成詞語(yǔ)的字符進(jìn)行編碼。

詞序列表示

在整個(gè)句子級(jí)別，文章同樣使用 LSTM / CNN 對(duì)構(gòu)成句子的詞語(yǔ)的表示進(jìn)行上下文的編碼。

預(yù)測(cè)層?

獲取了每個(gè)詞的上下文表示之后，在最后的預(yù)測(cè)層，文章使用了基于 Softmax 的和基于 CRF 的結(jié)構(gòu)。和 Softmax 相比， CRF 往往更能有效地結(jié)合上下文的標(biāo)簽的依賴關(guān)系進(jìn)行預(yù)測(cè)。

實(shí)驗(yàn)結(jié)果

NER的實(shí)驗(yàn)結(jié)果

Chunking的實(shí)驗(yàn)結(jié)果

POS Tagging的實(shí)驗(yàn)結(jié)果

從以上結(jié)果來(lái)看，字符序列的表示方面，CNN 和 LSTM 的結(jié)果差別不大；詞序列的表示方面，LSTM 的結(jié)果比 CNN 的稍好一些，說(shuō)明全局信息的有效性；預(yù)測(cè)層方面，POS Tagging 任務(wù)的 CRF 和 Softmax 表現(xiàn)相當(dāng)，但是 NER、Chunking 的 CRF 的結(jié)果要比 Softmax 好一些。相比 POS 的tags，BIE 標(biāo)簽之間的依賴關(guān)系可能更容易被 CRF 所建模。

其他

這篇文章也檢驗(yàn)了預(yù)訓(xùn)練的詞向量的不同（GloVe/SENNA），標(biāo)注體系的不同 (BIO/BIOES)，運(yùn)行環(huán)境的不同（CPU/GPU），以及優(yōu)化器的不同 （SGD/Adagrad/Adadelta/RMSProp/Adam）對(duì)結(jié)果的影響。感興趣的同學(xué)可以查看論文原文。?

最后

本文代碼已開(kāi)源，使用非常方便，也可以加自定義的 feature，幾乎不用自己寫代碼就可以使用了。

本文由 AI 學(xué)術(shù)社區(qū) PaperWeekly 精選推薦，社區(qū)目前已覆蓋自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和信息檢索等研究方向，點(diǎn)擊「閱讀原文」即刻加入社區(qū)！

點(diǎn)擊標(biāo)題查看更多論文解讀：?

• ??DeepMind論文解讀：讓機(jī)器更深入地理解文本

• ??基于詞向量的簡(jiǎn)單模型 | ACL 2018論文解讀

• ??上海交大提出多模態(tài)情緒識(shí)別框架EmotionMeter

• ??綜述：圖像風(fēng)格化算法最全盤點(diǎn)

• ??CVPR 2018 最佳論文解讀：探秘任務(wù)遷移學(xué)習(xí)

• ??深度學(xué)習(xí)模型復(fù)現(xiàn)難？句子對(duì)模型復(fù)現(xiàn)論文

? ? ? ? ??

AI活動(dòng)推薦

?

中國(guó)人工智能大會(huì) CCAI 2018

AI領(lǐng)域規(guī)格最高、規(guī)模最大

影響力最強(qiáng)的專業(yè)會(huì)議之一

熱點(diǎn)話題√核心技術(shù)√科學(xué)問(wèn)題√

?

?活動(dòng)時(shí)間?

2018年7月28日-29日?

中國(guó)·深圳

長(zhǎng)按識(shí)別二維碼，查看大會(huì)簡(jiǎn)介

▼

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? ? ? ? ?

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 查看原論文

總結(jié)

以上是生活随笔為你收集整理的COLING 2018 最佳论文解读：序列标注经典模型复现的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。