AI之NLP：自然語言處理技術簡介(是什么/學什么/怎么用)、常用算法、經典案例之詳細攻略(建議收藏)

目錄

NLP是什么？

1、NLP前置技術解析

2、python中NLP技術相關庫

3、NLP案例實踐

3.1、機器翻譯

3.2、語音識別(Automatic Speech Recognition)

3.3、中文分詞

3.4、詞件標注與命名實體識別

3.5、關鍵詞提取算法

3.6、句法分析

3.7、文本向量化

3.8、文本分類

3.9、情感分析技術

3.10、Solr搜索引擎

3.11、NLP中常用的機器學習算法

3.12、NLP中常用的深度學習算法

NLP的經典案例

1、基礎案例

2、進階案例

---

NLP是什么？

NLP是一門融語言學、計算機科學、數學于一體的科學。主要內容包括如下：

• 如何用NLP與語言學的關鍵概念來描述和分析語言?
• NLP中的數學結構和算法是如何實現的
• 自然語言處理目前主流的技術與方法論
• 信息檢索技術與大數據應用

推薦文章
NLP：自然語言處理技術的簡介、發展歷史、案例應用之詳細攻略
Paper之ACL&EMNLP：2009年~2019年ACL計算語言學協會年會&EMNLP自然語言處理的經驗方法會議歷年最佳論文簡介及其解讀
NLP：《NLP Year in Review 2019&NLP_2019_Highlights》2019年自然語言處理領域重要進展回顧及其解讀
Dataset：數據集集合(NLP方向數據集)——常見的自然語言處理數據集大集合(建議收藏，持續更新)

1、NLP前置技術解析

搭建Python開發環境
正則表達式在NLP中的基本應用
Numpy使用詳解

2、python中NLP技術相關庫

• word2vec
• nltk
• jieba

Py之SnowNLP：SnowNLP中文處理包的簡介、安裝、使用方法、代碼實現之詳細攻略
NLP之word2vec：word2vec簡介、安裝、使用方法之詳細攻略

3、NLP案例實踐

3.1、機器翻譯

3.2、語音識別(Automatic Speech Recognition)

NLP之ASR：語音識別技術(Automatic Speech Recognition)的簡介、發展歷史、案例應用之詳細攻略
NLP之ASR：基于pyaudio利用python進行語音生成、語音識別總結及其案例詳細攻略
NLP之ASR：基于python和機器學習算法帶你玩轉的語音實時識別技術

3.3、中文分詞

中文分詞簡介

• 規則分詞
• 統計分詞
• 混合分詞

中文分詞工具—Jieba

3.4、詞件標注與命名實體識別

詞性標注
命名實體識別
實體識別(NER)

3.5、關鍵詞提取算法

摘要提取
關鍵詞提取技術概述
TF/IDF
TextRank
LSA/LSI/LDA算法
實戰提取文本關鍵詞

推薦文章
NLP：基于textrank4zh庫對文本實現提取文本關鍵詞、文本關鍵短語和文本摘要
NLP：基于snownlp庫對文本實現提取文本關鍵詞和文本摘要
NLP：基于nltk和jieba庫對文本實現提取文本摘要(兩種方法實現：top_n_summary和mean_scored_summary)

?

3.6、句法分析

文本分析
句法分析概述
句法分析的常用方法
使用Stanford Parser的PCFG算法進行句法分析

3.7、文本向量化

文本向量化概述
向量化算法woed2vec
向量化算法doc2vec、str2vec
網頁文本向量化

推薦文章
NLP：利用DictVectorizer對使用字典存儲的數據進行特征抽取與向量化
NLP之word2vec：利用 Wikipedia Text(中文維基百科)語料+Word2vec工具來訓練簡體中文詞向量

3.8、文本分類

如：垃圾郵件分類、情感分析。

3.9、情感分析技術

情感分析應用
情感分析基本方法
實戰電影評論情感分析

推薦文章
NLP之TEA：自然語言處理之文本情感分析的簡介、算法、應用、實現流程方法、案例應用之詳細攻略
NLP之情感分析：基于python編程(jieba庫)實現中文文本情感分析(得到的是情感評分)

3.10、Solr搜索引擎

全文檢索的原理
Solr簡介與部署
Solr后臺管理描述
配置Schema
Solr管理索引庫

3.11、NLP中常用的機器學習算法

分類器方法
無監督學習的文本聚類
文本分類：中文垃圾郵件分類
文本聚類：用k-means對豆瓣讀書數據聚類

推薦文章
NLP之TM之LDA：利用LDA算法瞬時掌握文檔的主題內容—利用希拉里郵件數據集訓練LDA模型并對新文本進行主題分類

3.12、NLP中常用的深度學習算法

神經網絡模型
多輸出層模型
反向傳播算法
最優化算法
丟棄法
激活函數
實現BP算法
詞嵌入算法
訓練詞向量實踐
樸素Vanilla-RNN
LSTM網絡
Attention機制
Seq2Seq模型
圖模型
深度學習平臺
問答機器人

推薦文章
NLP之WE之CBOW&Skip-Gram：CBOW&Skip-Gram算法概念相關論文、原理配圖、關鍵步驟之詳細攻略
NLP之WE之Skip-Gram：基于TF利用Skip-Gram模型實現詞嵌入并進行可視化、過程全記錄

?

NLP的經典案例

1、基礎案例

NLP：兩種方法(自定義函數和封裝函數)實現提取兩人對話內容(***分隔txt文檔)，并各自保存為txt文檔
NLP之TopicModel：樸素貝葉斯NB的先驗概率之Dirichlet分布的應用
NLP之TM：基于gensim庫調用20newsgr學習doc-topic分布并保存為train-svm-lda.txt、test-svm-lda.txt
NLP之TFTS讀入數據：TF之TFTS讀入時間序列數據的幾種方法
NLP之WordCloud：基于jieba+matplotlib庫對一段文本生成詞云圖~~情人節最好的禮物(給你一張過去的詞云圖，看看那時我們的愛情)

2、進階案例

NLP之TEA：基于SnowNLP實現自然語言處理之對輸入文本進行情感分析(分詞→詞性標注→拼音&簡繁轉換→情感分析→測試)
ML之NB：(NLP)基于sklearn庫利用不同語種數據集訓練NB(樸素貝葉斯)算法，對新語種進行語種檢測
NLP之BoW&NLTK：自然語言處理中常用的技術——詞袋法Bow、NLTK庫
NLP之詞向量：利用word2vec對20類新聞文本數據集進行詞向量訓練、測試(某個單詞的相關詞匯)
NLP之NB&GBT：基于樸素貝葉斯(count/tfidf+網格搜索+4fCrva)、梯度提升樹(w2c+網格搜索+4fCrva)算法對IMDB影評數據集進行文本情感分析(情感二分類預測)
NLP：NLP領域沒有最強，只有更強的模型——GPT-3的簡介、安裝、使用方法之詳細攻略

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的AI之NLP：自然语言处理技术简介(是什么/学什么/怎么用)、常用算法、经典案例之详细攻略(建议收藏)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。