文 | Serena Gao@知乎

首先，做nlp不一定要很懂語言學，也不一定要跟語言學扯上關系。nlp可以僅是data mining，features engineering, 也的確有很多work目前在用文本或者對話做為數據集，然后用統計學方法實現目的，比如deep learning 。在某些任務上統計學模型功不可沒，比如machine translation, speech recognition, question answering, etc.

許多主流大公司目前的力度都在deep learning, 學好nlp基本知識，做工程就夠了(當然你還需要cs的background)， 語言學的東西不用太深入研究。

大多數人對nlp和語言學聯系的了解，在于認為rule-based的nlp就是基于語言學。的確rule-based是語言學里廣泛使用的，尤其是語法(syntax, syntactic structure)。現在machine learning的發展已經可以將rules轉換為hidden states,人不用去操心提出大量rules來做exhaustive search。

但computational linguistics所包含的，遠遠大于rules。人類語言是漫長歷史進化的高級產物，遠不是成千上萬個rules能描述清楚的。能被nlp利用的語言學，除了枚舉rules外還有很多很多。

比如定義。個人認為，在研究任何問題前，都必須要想清楚你的問題是什么，怎么定義。許許多多nlp research都是基于語言學上的定義，像我下文會提到的semantics, grammar。可是如果沒有從沿用語言學的定義到nlp，這個0到1的過程，最早做researchers的人該如何想明白他們的research question？

做對話系統的同學應該很熟悉dialogue acts. 現在的對話系統發展迅猛，很多新應用都基于reinforcement learning, 并且取得顯著成就。尤其是某些task-oriented dialogue generator, 早就不是十多年前的rule-based system了。但任何一個系統在設計之初都要采用dialouge acts定義（當然還有其他定義），來明確該系統的目的。不然該系統如何區分wh-question, yes-no question, greetings, 還有其他？（如果覺得見到“wh-”開頭，問號結尾，就是一個wh-question rule, 那我不知道該說什么好了）

明確自己的research task并且貫徹到底是好事，如果要做language modeling，基于machine learning/deep learning, 那真的不用費時間在語言學上。但覺得語言學是rule based已經過時了被淘汰了，這個鍋語言學真的背的有點冤呀。

接下來的回答是，給真正對computational linguistics和nlp本身感興趣的，對某些語言現象感興趣，并打算在這條路上開始鉆研的同學的一些建議。（想忽略細節的同學請直接拉到答案最后找reference）

人大腦工作不是靠probablistic language modeling，咱們誰的腦袋里都不會聽到一個詞然后跑一遍hidden markov，畢竟也進化了這么多年了不是。

與nlp相關，跟概率論并進的，除了傳統的語言學，還有logic呢，Lofti Zadeh老爺爺研究了一輩子的fuzzy logic，也是在探究semantics&world knowledge (再次感謝老爺爺的貢獻，r.i.p)。

我也并不是在強調概率模型不重要，概率模型和現在很火的deep learning architecture像是基本功一樣，而且是很好用的工具，其他答主已經強調很多，我就不再重復了。除了這些，還有很多知識可以深入了解。

另外，語言學自身是個很大又很寬泛，又互相交叉的學科。有很多研究是跟literatures and arts有關，有的是跟cognitive science有關，還有neuroscience, mathematics, education, psychology, etc。我涉獵有限，在此只能回答跟computational linguistics有關("to the best of my knowledge")。

Grammar

Grammar是我會首先推薦的方向。Grammar分為morphology&syntax. 在這里我主要指syntax.細節可以看Chomsky, Michael Colins, Jason Eisner等人的工作。現在大家用的最多的應該是stanford的syntactic parsing吧。這方面的工作已經很成熟，要處理語言基本是拿來就能用了。但是語法樹到底是什么，怎么構建，syntatic parsing優勢，如何處理ambiguity, 想要做computational linguistics的話，這些很有必要知道。最基本的例子是，當用parser來處理你的句子，你起碼要能看懂這個parser output是否make sense.

Semantics

這個部分是我做最多的，感覺也是被誤解最多的。尤其推薦 “Meaning in language: An introduction to Semantics and Pragmatics.” 我并沒有看完。Semantics是個很復雜的研究，可以涉及到語法，句法，world knowledge, 但最終還是回歸semantics自身。目前nlp里很火的有distributional semantic representation (word embedding, phrase embedding, sentence embedding, etc), semantic parsing (logical form, etc), 等等等等。同一句話可以表達的意思太多了，同一個意思帶來的表達形式也太多了。一個簡單句子里包含的意思會涉及到當下對話雙方的情景，以前或者以后會發生的事，等等。舉個個人很喜歡的例子：

2016年美國大選first presidential debate, Clinton vs Trump, 當trump被問到：
“does the public's right to know outweigh your personal .. (taxes)”
Trump: "... I will release my tax returns -- against my lawyer's wishes -- when she releases her 33000 emails that have been deleted. As soon as she releases them, I will release. ".
最后一句話（粗體）包含的語意有：
等Hilary公開郵件記錄之后，我就公開我的稅務信息(動作和時間點)；
Hilary沒公開，我也沒公開(當下既定事實)；
Hilary不愿公開，我也不愿公開(sentiment)。
She -- Clinton, I, my, -- Trump, them -- 33000 emails (co-reference).

第一層意思是直觀semantics, 能夠被目前的semantic representation捕捉到。第二層是presupposition, 代表著在說話當下當事人雙方默認已經發生的事情，是semantics研究中的難點；第三層包含了sentiment, 做情感分析的同學應該很了解，能否被目前的classifier捕捉到我不清楚。第四層是現在也很火的coreference resolution, 雖然原文里沒有明確指代每個人稱代詞，但聽眾和當事人很直接能把每個人物代入，甚至包括Trump省略的"I will release (my taxes)". 目前的co-reference resolution,e.g. stanford corenlp, 可以解決前三個代詞，但省略的部分似乎還做不到。

對Semantic要求最高也是最難的，在nlp中應該是在natural language understanding相關應用了。Semantics里包含了太多太多的現象，如果能稍微研究并且model其中一小部分，對downstream application來說都會是一個很大的boost。前段時間有個shared task，叫 "hedge detection",目的是找出文本信息中的hedges and cues。大部分人會關注這個shared task下哪個模型做的最好，個人認為難點是在定義。有“but”,"however"出現語意就一定轉折了么？如果被轉折，是所在句子，還是段落還是一個小phrase呢？有dependency存在么？另一個相似shared task是negation detection. 想要理解這些問題本身和其難點所在，computational linguistics的前期知識儲備是并不可少的。

以上兩個方面應該可以展現一個big picture：前者代表語言結構是如何構建的，后者代表meaning是如何被賦予到某種結構里面的。

除了大框架外，小的方向取決于你的興趣和目標所在。對話？文本？natural language understanding or natural language generation?

另外提兩個我覺得必看的，很重要的理論，是computational pragmatics范疇里的：Grice's maxims, 和Rational Speech Act(RSA). 這兩個理論其實緊密相關。前者理論關于談話雙方為了有效溝通會有意識的遵守的一些principle, (同時可見“cooperative principle”), 后者關于為了達到這種有效溝通，對話當中存在的一種recursive process, 并且是bayesian inference. 如果你的工作跟 inference, reasoning相關，請一定要閱讀。做對話系統的應該已經很熟悉了。

最后一個比較偏門的方向是我前面提到的fuzzy logic。目前還是有researcher繼承Zadeh老爺爺的衣缽，并且用fuzzy logic做出了很多natural language generation, information extraction方面的成就。個人經驗而言，我博士第一年(2014)一直在關注deep learning/machine learning方面，當時覺得它們是萬能的。直到第二年夏天在忙一個project, 閱讀了Zadeh老爺爺的大量工作，才感覺自己一直在以很片面的眼光看research。當時真的做了滿滿一本筆記。

最后，如果興趣在建modeling，deep learning architecture, 語言學方面的part-of-speech也好，parsing也好，都只是你的工具；

同樣，如果興趣在computational linguistics,語言現象，deep learning/machine learning都是你的工具。

取決與你的任務是什么，取決于你有沒有完全dedicated的信心。畢竟巴菲特和Geff Hinton是少數，大多數人都無法預測20年后火的適合什么。

感謝閱讀。希望能給在猶豫是否開始computational linguistics和nlp研究同學們一些幫助。

(任何不準確的地方還請大家指正)

Reference

（大方向書籍，我要是能全部買下來就好了...并沒有全部看完，有的只是看過某一章節。Grammar和syntax知乎里面有很多問答跟這方面有關，在此不重復了。）

• Cruse, Alan. "Meaning in language: An introduction to semantics and pragmatics." (2011).

• Karttunen, Lauri (1974) [1]. Theoretical Linguistics 1 181-94. Also in Pragmatics: A Reader, Steven Davis (ed.), pages 406-415, Oxford University Press, 1991.

• Kadmon, Nirit. "Formal pragmatics semantics, pragmatics, presupposition, and focus." (2001).

• Levinson, Stephen C. Pragmatics.Cambridge: Cambridge University Press, 1983, pp. 181-184.

• Wardhaugh, Ronald. An introduction to sociolinguistics. John Wiley & Sons, 2010. (這本書的影響力很大，有很多跟social science的討論)

(具體其他上面提到的，每一篇我都仔細讀過的)

• Monroe, Will, and Christopher Potts. "Learning in the rational speech acts model." arXiv preprint arXiv:1510.06807 (2015).(這篇是關于rsa如何被用于具體task上的)

• Farkas, Richárd, et al. "The CoNLL-2010 shared task: learning to detect hedges and their scope in natural language text." Proceedings of the Fourteenth Conference on Computational Natural Language Learning---Shared Task. Association for Computational Linguistics, 2010. (上文提到的hedge and cues shared task,關于linguistics里的現象是如何被formulate成nlp問題的)

• Morante, Roser, and Eduardo Blanco. "* SEM 2012 shared task: Resolving the scope and focus of negation." Proceedings of the First Joint Conference on Lexical and Computational Semantics-Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation. Association for Computational Linguistics, 2012. (negation 的shared task)

最后附上兩篇老爺爺對我影響最大的：

• Zadeh, Lotfi Asker. "The concept of a linguistic variable and its application to approximate reasoning—I." Information sciences 8.3 (1975): 199-249.

• Zadeh, Lotfi A. "The concept of a linguistic variable and its application to approximate reasoning—II." Information sciences 8.4 (1975): 301-357.（ 這系列work分兩部。）

• Zadeh, Lotfi A. "Toward a theory of fuzzy information granulation and its centrality in human reasoning and fuzzy logic." Fuzzy sets and systems 90.2 (1997): 111-127.

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

總結

以上是生活随笔為你收集整理的NLP研究者必备的语言学书籍！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。