• Baseline needs more love
  • 1.Paper Info
  • 2.Paper highlights
    • • • 2.1.Highlights
        • 2.2.Other words

Baseline needs more love

---

Author: Cao Shengming
Email: caoshengming@trio.ai
Company: Trio 北京（三角獸）科技有限公司

---

1.Paper Info

• Release time: 24 May 2018
• link: https://arxiv.org/abs/1805.09843
• code: https://github.com/dinghanshen/SWEM

2.Paper highlights

2.1.Highlights

? ? 文章的亮點是對于我們最熟悉的詞向量，進(jìn)行了精細(xì)化的探討。文章將模型訓(xùn)練所涉及的參數(shù)分類了兩個部分，分別是 embedding paremeters 和 model parameters。這其實就是無監(jiān)督學(xué)習(xí)引入的參量，和具體有監(jiān)督學(xué)習(xí)附帶的參量。而這些參量是否更新，以及后者的維度對于模型表達(dá)能力的影響等問題，作者也進(jìn)行了相應(yīng)的探討。

? ? 對我們的啟示就是對于一些簡單的任務(wù)來說，單純的詞向量變換和更新，就可以滿足需求了。這里的變換主要涉及三種，max,average 和 hierarchical,這其實就是用 pooling 操作取代了傳統(tǒng)的操作，max 取得是核心元素（距離短），average 取得是平均結(jié)果（距離長），而 hierarchical 則采用窗口概念，將操作單元轉(zhuǎn)換為 n-gram（n 為窗口大小），這樣就保留了一部分語序信息在里邊。

? ? 作者針對詞序信息（word-order）信息在 NLP 相關(guān)任務(wù)中的作用，實際與直觀上的一致，對于序列標(biāo)注等對語序依賴較強的任務(wù)，還是 LSTM、CNN 等操作更為有效。這里作者給了這些網(wǎng)絡(luò)一個提法，叫 composition function，我們就可以理解為一個映射函數(shù)，會將輸入映射到特征空間進(jìn)行操作。

? ? 在參量大幅度下降，而指標(biāo)又不會下降太多的情況下，采取簡單詞向量變換的方法不失為一種合理的選擇。

? ? 作者整篇行文也十分嚴(yán)謹(jǐn)，文末已經(jīng)提到了模型所涉及的過擬合問題，因為所測試的語料都是一些開放數(shù)據(jù)集，可能這些結(jié)論在小規(guī)模數(shù)據(jù)集上的結(jié)果表現(xiàn)尚可，但是其泛化能力或在大規(guī)模數(shù)據(jù)集上的表現(xiàn)還有待考證。我也很有興趣，作者如何在 simple embedding 上考慮一系列的懲罰措施。后續(xù)會繼續(xù)跟進(jìn)。

2.2.Other words

? ? 以后會不定期、長期更新相關(guān)論文的理解，比較有新意的會解析代碼或者做遷移實驗，希望可以多多交流。

總結(jié)

以上是生活随笔為你收集整理的Baseline needs more love的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。