繼上一篇《我的機器學習入門之路（上）——傳統機器學習》，這一篇博客主要記錄深度學習(主要是自然語言處理)這一塊內容的學習過程。以下均將自然語言處理簡稱NLP。

這一塊內容的學習路線分為三部分：明確NLP的研究問題及傳統的方法有哪些、深度學習(NLP)基礎及深度學習框架的使用、NLP的深入學習。

?

一、明確NLP的研究問題及傳統的方法有哪些

不像機器學習中研究的問題一般都是直接的分類或回歸，在NLP中，有比較多樣的分析，如分詞、依存句法分析等。所以可以先看看一本書《python自然語言處理》。這本書可以比較快速地過一遍。

?

二、深度學習(NLP)基礎及深度學習框架的使用

開門見山，深度學習入門資源推薦：黃海廣博士主編的《DeepLearning.ai深度學習筆記》，由于版權關系，大家可以自行搜索。

原因：就如很多學習機器學習的人都人手一本西瓜書，我看很多學習深度學習的人都人手一本《深度學習》(那本花書)，我也去看了那本花書，感覺不太適合我。《DeepLearning.ai深度學習筆記》這份筆記講得非常通俗易懂，但又不失一定的深度，很適合作為深度學習的入門教材，總共七百多頁，幾天就能學完了，從神經網絡基礎，到CNN，計算機視覺中的深度學習，再到序列模型，NLP的很多問題，都有講解，是相對全面的。

在有了深度學習的基礎知識之后，就可以學習一些開源的深度學習框架的使用了，我選的是TensorFlow和PyTorch。

深度學習框架PyTorch書籍推薦：陳云的《深度學習框架PyTorch：入門與實踐》，這本書寫得比較接地氣，也有相應的實戰代碼(GitHub上可下載)。所以邊看這本書，邊自己做做書上的項目，就能很快入門pytorch了。

深度學習框架TensorFlow書籍推薦：黃文堅的《TensorFlow實戰》。

一些我收藏的資源：

1、TensorFlow相關

TensorFlow在Windows 10 64位下的安裝：https://blog.csdn.net/u010099080/article/details/53418159

WIN10安裝TENSORFLOW（GPU版本）詳解：https://zhuanlan.zhihu.com/p/37086409

TensorFlow指定GPU進行訓練：https://blog.csdn.net/u010238520/article/details/76165736

TensorFlow獲取可用GPU設備：https://blog.csdn.net/weixin_35653315/article/details/71403386

TensorFlow自動求導原理：https://blog.csdn.net/qq_25094489/article/details/79390484

『深度長文』Tensorflow代碼解析（一）：https://zhuanlan.zhihu.com/p/25646408

2、PyTorch相關?

新手如何入門pytorch？：https://www.zhihu.com/question/55720139

PyTorch中文文檔：https://pytorch.apachecn.org/#/

PyTorch上搭建簡單神經網絡實現回歸和分類的示例：https://blog.csdn.net/quincylk/article/details/86183752

PyTorch使用tensorboardX：https://zhuanlan.zhihu.com/p/35675109

PyTorch的遠程可視化神器visdom：https://zhuanlan.zhihu.com/p/34692106

?

三、NLP的深入學習

首先推薦一個非常好的資源：斯坦福CS224n課程(在YouTube上可以找到課程視頻)

還有一個對應的筆記資源：碼農場網站上的CS224n課程對應的筆記：http://www.hankcs.com/nlp/cs224n-introduction-to-nlp-and-deep-learning.html

我的學習方法是：按照授課順序，先看碼農場網站上的中文筆記，理解這一次課教授的內容，然后看斯坦福CS224n的課程視頻(用倍速看，會比較省時間)。

這樣一整個課程下來，就可以說是入門NLP了。

下面是我收藏的一些資料鏈接

詞向量相關：

1、word2vec?

CS224n筆記2 詞的向量表示：word2vec：http://www.hankcs.com/nlp/word-vector-representations-word2vec.html

word2vec原理推導與代碼分析：http://www.hankcs.com/nlp/word2vec.html

word2vec模型原理與實現：https://www.cnblogs.com/Finley/p/6043769.html

word2vec源碼解析：https://blog.csdn.net/google19890102/article/details/51887344

Word2vec和Doc2vec原理理解：https://blog.csdn.net/mpk_no1/article/details/72458003

2、Glove

理解GloVe模型：https://blog.csdn.net/coderTC/article/details/73864097

Glove詳解：http://www.fanyeong.com/2018/02/19/glove-in-detail/

3、FastText

fastText原理及實踐：https://zhuanlan.zhihu.com/p/32965521

4、Doc2vec

Doc2vec原理及實踐：https://blog.csdn.net/john_xyz/article/details/79208564

5、Sentence Embedding

CS224n研究熱點一：Sentence Embedding：http://www.hankcs.com/nlp/cs224n-sentence-embeddings.html

?

接下來是一些NLP模型的原理及相應深度學習框架函數的資料鏈接。

1、RNN

RNN 的梯度消失問題：https://zhuanlan.zhihu.com/p/44163528

RNN梯度消失和爆炸的原因：https://zhuanlan.zhihu.com/p/28687529

2、LSTM

人人都能看懂的LSTM：https://zhuanlan.zhihu.com/p/32085405

LSTM如何解決梯度消失問題：https://zhuanlan.zhihu.com/p/28749444

在Pytorch下搭建BiLSTM：https://www.jianshu.com/p/b9ad6b26e690

聊一聊PyTorch中LSTM的輸出格式：https://zhuanlan.zhihu.com/p/39191116

3、GRU

人人都能看懂的GRU：https://zhuanlan.zhihu.com/p/32481747

4、TextCNN

TextCnn原理及實踐：https://blog.csdn.net/John_xyz/article/details/79210088

基于Text-CNN模型的中文文本分類實戰：https://www.imooc.com/article/40868

5、Seq2seq

玩轉Keras之seq2seq自動生成標題：https://spaces.ac.cn/archives/5861/comment-page-1

TensorFlow文本摘要生成：https://www.ctolib.com/topics-113328.html

6、Attention

深度學習中的注意力模型：https://zhuanlan.zhihu.com/p/37601161

注意力機制在NLP中的應用：https://www.cnblogs.com/robert-dlut/p/5952032.html

自然語言處理中的Attention Model：是什么及為什么：https://blog.csdn.net/malefactor/article/details/50550211

BahdanauAttention與LuongAttention注意力機制簡介：https://blog.csdn.net/u010960155/article/details/82853632

7、Transformer

圖解Transformer：https://blog.csdn.net/qq_41664845/article/details/84969266

8、Elmo、GPT

看相應論文，然后自己搜搜講解的博客吧，我累了，沒收藏

9、Bert

谷歌BERT模型深度解析：https://blog.csdn.net/qq_39521554/article/details/83062188

為什么BERT有3個嵌入層，它們都是如何實現的：https://www.cnblogs.com/d0main/p/10447853.html

如何使用BERT實現中文的文本分類（附代碼）：https://blog.csdn.net/Real_Brilliant/article/details/84880528

從Word Embedding到Bert模型：https://zhuanlan.zhihu.com/p/49271699

10、ERNIE

中文任務全面超越BERT：百度正式發布NLP預訓練模型ERNIE：https://zhuanlan.zhihu.com/p/59436589

11、HMM

隱馬爾可夫(HMM)、前/后向算法、Viterbi算法 再次總結：https://blog.csdn.net/xueyingxue001/article/details/52396494

隱馬爾可夫模型(HMM) - 1 - 基本概念：https://blog.csdn.net/xueyingxue001/article/details/51435728

隱馬爾可夫模型(HMM) - 2 - 概率計算方法：https://blog.csdn.net/xueyingxue001/article/details/51435752

隱馬爾科夫模型HMM（四）維特比算法解碼隱藏狀態序列：https://www.cnblogs.com/pinard/p/6991852.html

12、CRF

如何輕松愉快地理解條件隨機場（CRF）？：https://www.jianshu.com/p/55755fc649b1

概率圖模型學習筆記：HMM、MEMM、CRF：https://blog.csdn.net/Scotfield_msn/article/details/79195517

pytorch lstm crf 代碼理解：https://www.twblogs.net/a/5b7c1a1c2b71770a43d955a5

通俗理解BiLSTM-CRF命名實體識別模型中的CRF層：https://www.cnblogs.com/createMoMo/p/7529885.html

13、LDA

通俗理解LDA主題模型：https://blog.csdn.net/v_july_v/article/details/41209515

14、TF-IDF

生動理解TF-IDF算法：https://zhuanlan.zhihu.com/p/31197209

?

下面是其它的NLP或深度學習相關的資料的一些鏈接。

1、Batch Normalization

什么是批標準化 (Batch Normalization)：https://zhuanlan.zhihu.com/p/24810318

Batch Normalization 學習筆記：https://blog.csdn.net/hjimce/article/details/50866313

詳解深度學習中的Normalization，BN/LN/WN：https://zhuanlan.zhihu.com/p/33173246

2、TimeDistributed

keras中TimeDistributed的用法：https://blog.csdn.net/u012193416/article/details/79477220

如何在長短期記憶(LSTM)網絡中利用TimeDistributed層：https://python.freelycode.com/contribution/detail/889

3、中文分詞

中文分詞：原理及分詞算法：https://blog.csdn.net/DianaCody/article/details/40950169

自然語言處理基礎-中文分詞：https://ilewseu.github.io/2018/06/16/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D/

文本挖掘的分詞原理：https://www.cnblogs.com/pinard/p/6677078.html

從自然語言處理角度看 HMM 和 CRF：https://www.jianshu.com/p/59490ffe7f7c

4、文本(清洗)處理

文本清洗+文本分類：https://www.jianshu.com/p/a72b6a0cf895

通常的文本清理流程：https://www.zhihu.com/question/268849350

文本挖掘之特征選擇(python 實現)：https://cloud.tencent.com/developer/article/1061371

5、NLP比賽、實戰

第二屆搜狐內容識別算法大賽第一名分享：https://blog.csdn.net/qq_34695147/article/details/81006059

知乎看山杯奪冠記：https://zhuanlan.zhihu.com/p/28923961

文本分類實戰（一）—— word2vec預訓練詞向量：https://www.cnblogs.com/jiangxinyang/p/10207273.html

6、NLP教程

一個不錯的系列教程：https://www.jianshu.com/p/b87e01374a65

?

暫時先總結到這吧，內容實在有點多，很難面面俱到。

最后，NLP的這些模型都是發表在相應會議上的，有時間一定要去看看相對應的論文，這里就不一一羅列了。

?

我的微信公眾號：帕尼尼古

歡迎關注~

?

?

?

?

?

總結

以上是生活随笔為你收集整理的我的机器学习入门之路（中）——深度学习(自然语言处理)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。