斯坦福大学深度学习与自然语言处理第一讲：引言
斯坦福大學(xué)在三月份開設(shè)了一門“深度學(xué)習(xí)與自然語言處理”的課程：CS224d: Deep Learning for Natural Language Processing，授課老師是青年才俊?Richard Socher，他本人是德國人，大學(xué)期間涉足自然語言處理，在德國讀研時又專攻計算機(jī)視覺，之后在斯坦福大學(xué)攻讀博士學(xué)位，拜師NLP領(lǐng)域的巨牛?Chris Manning?和?Deep Learning?領(lǐng)域的巨牛Andrew Ng，其博士論文是《Recursive Deep Learning for Natural Language Processing and Computer Vision》，也算是多年求學(xué)生涯的完美一擊。畢業(yè)后以聯(lián)合創(chuàng)始人及CTO的身份創(chuàng)辦了MetaMind，作為AI領(lǐng)域的新星創(chuàng)業(yè)公司，MetaMind創(chuàng)辦之初就拿了800萬美元的風(fēng)投，值得關(guān)注。
回到這們課程CS224d,其實可以翻譯為“面向自然語言處理的深度學(xué)習(xí)（Deep Learning for Natural Language Processing）”，這門課程是面向斯坦福學(xué)生的校內(nèi)課程，不過課程的相關(guān)材料都放到了網(wǎng)上，包括課程視頻，課件，相關(guān)知識，預(yù)備知識，作業(yè)等等，相當(dāng)齊備。課程大綱相當(dāng)有章法和深度，從基礎(chǔ)講起，再講到深度學(xué)習(xí)在NLP領(lǐng)域的具體應(yīng)用，包括命名實體識別，機(jī)器翻譯，句法分析器，情感分析等。Richard Socher此前在ACL 2012和NAACL 2013 做過一個Tutorial，Deep Learning for NLP (without Magic)，感興趣的同學(xué)可以先參考一下:?Deep Learning for NLP (without Magic) – ACL 2012 Tutorial – 相關(guān)視頻及課件?。另外，由于這門課程的視頻放在Youtube上，@愛可可-愛生活?老師維護(hù)了一個網(wǎng)盤鏈接：http://pan.baidu.com/s/1pJyrXaF?，同步更新相關(guān)資料，可以關(guān)注。
第一講：引言-自然語言處理與深度學(xué)習(xí)簡介(Intro to NLP and Deep Learning)
推薦閱讀材料：
以下是第一講的相關(guān)筆記，主要參考自課程的slides，視頻和其他相關(guān)資料。
什么是自然語言處理（NLP）
- 自然語言處理是一門交叉學(xué)科，包括計算機(jī)科學(xué)，人工智能和語言學(xué)
- 目標(biāo)：讓計算機(jī)去處理或“理解”自然語言, 完成一些有用的任務(wù)例如問答系統(tǒng)，機(jī)器翻譯
- 完全理解或者表示語言的意義（甚至去定義它）都是一個虛幻的目標(biāo)
- 完美的理解語言是一個“AI-complete”的問題
自然語言處理的層次
自然語言處理的應(yīng)用
- 應(yīng)用范圍從簡單到復(fù)雜
- 拼寫檢查, 關(guān)鍵詞提取&搜索，同義詞查找&替換
- 從網(wǎng)頁中提取有用的信息例如產(chǎn)品價格，日期，地址，人名或公司名等
- 分類，例如對教科書的文本進(jìn)行分級，對長文本進(jìn)行正負(fù)情緒判斷
- 機(jī)器翻譯
- 口語對話系統(tǒng)
- 復(fù)雜的問答系統(tǒng)
工業(yè)屆里的NLP應(yīng)用
- 搜索引擎
- 在線廣告
- 自動的或輔助的翻譯技術(shù)
- 市場營銷或者金融交易領(lǐng)域的情感分析
- 語音識別
NLP為什么這么難
- 語言在表達(dá)上就很復(fù)雜，使用的時候要綜合考慮使用情境
- Jane hit June and then she [fell/ran].
- 歧義問題：“I made her duck”
什么是深度學(xué)習(xí)（DL）
- 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個分支
- 大多數(shù)機(jī)器學(xué)習(xí)方法很有效主要依靠人工精心設(shè)計的特征，例如下表是一個命名實體識別任務(wù)中設(shè)計的特征模板(Finkel, 2010)
- 最終這些機(jī)器學(xué)習(xí)問題會變成優(yōu)化問題：優(yōu)化這些特征權(quán)重以達(dá)到最好的預(yù)測效果
機(jī)器學(xué)習(xí) vs 深度學(xué)習(xí)
什么是深度學(xué)習(xí)（DL）續(xù)
- 表示學(xué)習(xí) or 表達(dá)學(xué)習(xí)（Representation Learning）嘗試自動的學(xué)習(xí)合適的特征及其表征
- 深度學(xué)習(xí)（Deep Learning) 算法嘗試學(xué)習(xí)（多層次）的表征以及輸出
- 從一個“原生”的輸入x(例如“單詞”）
深度學(xué)習(xí)的歷史
- 這門課主要關(guān)注至今為止在解決NLP問題上有效果的深度學(xué)習(xí)技術(shù)
- 關(guān)于深度學(xué)習(xí)模型的相關(guān)歷史，推薦參考《Deep Learning in Neural Networks: An Overview》
探索深度學(xué)習(xí)的原因
- 人工設(shè)計的特征常常定義過多，不完整并且需要花費(fèi)大量的時間去設(shè)計和驗證
- 自動學(xué)習(xí)的特征容易自適應(yīng)，并且可以很快的學(xué)習(xí)
- 深度學(xué)習(xí)提供了一個彈性的，通用的學(xué)習(xí)框架用來表征自然的，視覺的和語言的信息。
- 深度學(xué)習(xí)可以用來學(xué)習(xí)非監(jiān)督的（來自于生文本）和有監(jiān)督的（帶有特別標(biāo)記的文本，例如正向和負(fù)向標(biāo)記）
- 在2006年深度學(xué)習(xí)技術(shù)開始在一些任務(wù)中表現(xiàn)出眾，為什么現(xiàn)在才熱起來？
- 深度學(xué)習(xí)技術(shù)受益于越來越多的數(shù)據(jù)
- 更快的機(jī)器與更多核CPU/GPU對深度學(xué)習(xí)的普及起了很大的促進(jìn)作用
- 新的模型，算法和idea層出不窮
- 通過深度學(xué)習(xí)技術(shù)提升效果首先發(fā)生在語音識別和機(jī)器視覺領(lǐng)域，然后開始過渡到NLP領(lǐng)域
面向語音識別的深度學(xué)習(xí)
- “深度學(xué)習(xí)”在大數(shù)據(jù)集上的第一個突破性進(jìn)展發(fā)生在語音識別領(lǐng)域
- Paper：Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition?Dahl et al. (2010)
面向計算機(jī)視覺的深度學(xué)習(xí)
- 很多深度學(xué)習(xí)研究小組把大量的精力放在計算機(jī)視覺上（直到現(xiàn)在也是）
- 突破性的Paper:?ImageNet Classification with Deep Convolutional Neural Networks?by Krizhevsky et al. 2012
Deep Learning + NLP = Deep NLP
- 綜合使用一些深度學(xué)習(xí)的方法來解決NLP的相關(guān)問題
- 近幾年在NLP的一些應(yīng)用領(lǐng)域效果有了較大的提升
- 層次：語音，詞形，句法，語義
- 應(yīng)用：機(jī)器翻譯，情感分析，問答系統(tǒng)
音位學(xué)層次的表示
- 傳統(tǒng)的方法：音素
- 深度學(xué)習(xí)：通過聲音特征并將這些特征表示為向量直接來預(yù)測音素（或詞語）
形態(tài)學(xué)層次的表示
- 傳統(tǒng)的方法：語素，例如前綴，詞干，后綴等
- 深度學(xué)習(xí)：
- 每個語素都用向量表示
- 神經(jīng)網(wǎng)絡(luò)用于向量的兩兩合并
- Thang et al. 2013
句法層次的表示
- 傳統(tǒng)的方法：將一個短語或句子劃分到多個句法標(biāo)記，例如NP，VP等
- 深度學(xué)習(xí)
- 每個單詞或者短語都是一個向量
- 神經(jīng)網(wǎng)絡(luò)用于向量的兩兩合并
- Socher et al. 2011
語義層次的表示
- 傳統(tǒng)的方法： Lambda算子 or?Lambda演算(Lambda calculus)
- 非常精細(xì)的函數(shù)設(shè)計
- 需要指定其他函數(shù)的輸入
- 沒有相似性的概念或者模糊語言
- 深度學(xué)習(xí)
- 每個單詞或者短語或者邏輯表達(dá)式都是一個向量
- 神經(jīng)網(wǎng)絡(luò)用于向量的兩兩合并
- Bowman et al. 2014
NLP應(yīng)用：情感分析
- 傳統(tǒng)的方法：精選的情感詞典+詞袋模型（忽略詞序）+人工設(shè)計的特征（很難覆蓋所有的信息）
- 深度學(xué)習(xí)：和上述詞素，句法和語義相似的深度學(xué)習(xí)模型–>RNN
- Demo:?http://nlp.stanford.edu/sentiment/
NLP應(yīng)用：問答系統(tǒng)
- 傳統(tǒng)的方法：用了非常多的特征工程去獲取相關(guān)的知識，例如正則表達(dá)式，Berant et al. (2014)
- 深度學(xué)習(xí)：和上述詞素，句法，語義，情感分析相似的深度學(xué)習(xí)模型
- 知識可以儲備在向量中
NLP應(yīng)用：機(jī)器翻譯
- 過去嘗試過很多層次的機(jī)器翻譯方法
- 傳統(tǒng)的機(jī)器翻譯系統(tǒng)是一個非常大的復(fù)雜系統(tǒng)
- 可以思考一下在深度學(xué)習(xí)中中間語（interlingua）對于翻譯系統(tǒng)是如何起作用的？
- 深度學(xué)習(xí)：
- 源句子首先映射為向量，然后在輸出的時候進(jìn)行句子生成
- Sequence to Sequence Learning with Neural Networks by Sutskever?et al. 2014
- 方法很新但是可以替換傳統(tǒng)非常復(fù)雜的機(jī)器翻譯架構(gòu)
- 源句子首先映射為向量，然后在輸出的時候進(jìn)行句子生成
可以發(fā)現(xiàn)所有NLP層次的表示都涉及到向量（Vectors),?下一講將講到如何來學(xué)習(xí)詞向量以及這些向量表示了什么？
注：原創(chuàng)文章，轉(zhuǎn)載請注明出處“我愛自然語言處理”：http://www.52nlp.cn
本文鏈接地址：斯坦福大學(xué)深度學(xué)習(xí)與自然語言處理第一講：引言
總結(jié)
以上是生活随笔為你收集整理的斯坦福大学深度学习与自然语言处理第一讲：引言的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 自学计算机科学CS总结-by 要有光LT
- 下一篇： 斯坦福大学深度学习与自然语言处理第三讲：