J. V. King痛下決心打算開始培養讀paper的習慣了，由于研究方向是speech and language processing，我決定從ACL paper開始下手，堅持每晚讀三篇，并且整理一些心得。但愿能堅持下來吧。

?

ACL是association for computational linguistics的簡稱，是自然語言處理方向最大的會議，迄今為止舉辦了50屆。難能可貴的是NLP方向的很多paper都是可以在網上找到電子版的（google ACL+anthology）。每每想到學校和公司還需要為IEEE等會議花大量的錢，就會覺得做NLP真是在一個很好的很open的一個氛圍。

?

最近決定開始看的是ACL2012的paper，先從long paper (oral presentation)開始看，想來既然是long paper，還是oral presentation，應該更加牛逼一些。今天要介紹的paper是“Learning to Translate with Multiple Objectives”，“Joint Feature Selection in Distributed Stochastic Learning for Large-Scale Discriminative Training in SMT”和“Prediction of Learning Curves in Machine Translation”。

“Learning to Translate with Multiple Objectives”的想法非常直接，目前machine translation中的evaluation手段多種多樣，有BLEU score, TER等。這些metric是基于人們對于機器翻譯結果好壞的理解比較主觀的定義出來的，但它們之間并不是“殊途同歸”的。也就是說當系統在一個metric上面表現比較好的時候，可能另一項指標反而下降了。這篇paper基于Pareto Optimality（帕累托最優，最早來源于經濟學啊有木有）提出了新的優化方式，將幾種evaluation measures結合起來訓練machine translation system。最終實驗證實對于新出現的evaluation metric也能夠取得比較好的效果（這個還是比較自然的）。不過paper中貌似還argue對于同一種measure這個optimization也更牛逼（這一點有待考證，因為直覺上不是這樣的）。這篇paper關于Pareto Optimality的定理一堆看似嚇人，其實都非常直觀。

“Joint Feature Selection in Distributed Stochastic Learning for Large-Scale Discriminative Training in SMT”這篇paper我沒怎么看懂。。。最后看完也就只有abstract里面的一點印象，至于為什么“With a few exceptions, discriminative training?in statistical machine translation (SMT)?has been content with tuning weights for large?feature sets on small development data.”以及為啥作者的方法效果比較好完全沒看懂，干脆先放過這篇。不過文中多次出現的David Chiang 05和07年的兩篇文章看來值得粗讀一下。這篇paper還有很多詞匯堆砌，倒也弄明白了一些術語。

?

“Prediction of Learning Curves in Machine Translation”讓我覺得眼前一亮。一般人都會覺得沒有state of the art的平臺很難做出什么好的成果，但是只要切入點好也可以發出好paper。這篇文章沒有好的baseline system就研究learning curve，的確是很聰明的選擇。而且learning curve確實是一個比較specific的問題，目標很明確，同時也有比較多的研究內容可以挖掘。但換個角度來說，如果我知道了自己要predict learning curve，我可能還是不知道怎么入手，所以一個值得共勉的結論就是在弄清楚paper的purpose之后可以想想換做自己來做這個問題應該怎么做，這其實有點以前上課刷題的意思，而且ACL的paper質量很高，對于我這樣的freshman phd可以當做參考答案對待。這篇paper中的一個結論是learning curve可以用a three-parameter power law來model這應該是一個普遍的結論。文中在開頭說到實驗用了30 distinct language pair and domain combination and 96 different learning curves可以看出ACL對于實驗量的要求。另外可以借鑒一下這篇paper中把小問題做大的方法（如何增加可做性，并不是說弄一堆實驗結果上去湊字數，而是在問題不明朗的時候的確應該多做嘗試），比如distance中使用不用的weight（這點和我之前做LSF distance一樣啊，估計variance啥的）。

[to be continued]?

轉載于:https://www.cnblogs.com/JVKing/articles/2715145.html

總結

以上是生活随笔為你收集整理的paper每日谈——动机的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。