作者 | Abhijit Gupta?

編譯 | VK?

來源 | Towards Data Science

介紹

自然語言處理（NLP）是一個令人生畏的領(lǐng)域名稱。從非結(jié)構(gòu)化文本中生成有用的結(jié)論是很困難的，而且有無數(shù)的技術(shù)和算法，每一種都有自己的用例和復(fù)雜性。作為一個接觸NLP最少的開發(fā)人員，很難知道要使用哪些方法以及如何實現(xiàn)它們。

如果我以最小的努力提供盡量完美的結(jié)果。使用80/20原則，我將向你展示如何在不顯著犧牲結(jié)果（80%）的情況下快速（20%）交付解決方案。

?

“80/20原則認(rèn)為，少數(shù)的原因、投入或努力通常導(dǎo)致大多數(shù)結(jié)果、產(chǎn)出或回報”

-理查德·科赫，80/20原則的作者

?

我們將如何實現(xiàn)這一目標(biāo)？有一些很棒的Python庫！我們可能站在巨人的肩膀上，迅速創(chuàng)新，而不是重新發(fā)明輪子。通過預(yù)先測試的實現(xiàn)和預(yù)訓(xùn)練的模型，我們將專注于應(yīng)用這些方法并創(chuàng)造價值。

本文的目標(biāo)讀者是希望將自然語言處理快速集成到他們的項目中的開發(fā)人員。在強調(diào)易用性和快速效果的同時，性能也會下降。根據(jù)我的經(jīng)驗，80%的技術(shù)對于項目來說是足夠的，但是也可以從其他地方尋找相關(guān)方法

不用多說了，我們開始吧！

---

什么是NLP？

自然語言處理是語言學(xué)、計算機科學(xué)和人工智能的一個分支領(lǐng)域，允許通過軟件自動處理文本。NLP使機器能夠閱讀、理解和響應(yīng)雜亂無章的非結(jié)構(gòu)化文本。

人們通常將NLP視為機器學(xué)習(xí)的一個子集，但實際情況更為微妙。

有些NLP工具依賴于機器學(xué)習(xí)，有些甚至使用深度學(xué)習(xí)。然而，這些方法往往依賴于大數(shù)據(jù)集，并且難以實現(xiàn)。相反，我們將專注于更簡單、基于規(guī)則的方法來加快開發(fā)周期。

術(shù)語

從最小的數(shù)據(jù)單位開始，字符是單個字母、數(shù)字或標(biāo)點符號。一個單詞是一個字符列表，一個句子是一個單詞列表。文檔是句子的列表，而語料庫是文檔的列表。

預(yù)處理

預(yù)處理可能是NLP項目中最重要的一步，它涉及到清理輸入，這樣模型就可以忽略噪聲，并將注意力集中在最重要的內(nèi)容上。一個強大的預(yù)處理管道將提高所有模型的性能，所以必須強調(diào)它的價值。

以下是一些常見的預(yù)處理步驟：

• 「分段」：給定一長串字符，我們可以用空格分隔文檔，按句點分隔句子，按空格分隔單詞。實現(xiàn)細(xì)節(jié)將因數(shù)據(jù)集而異。

• 「使用小寫」：大寫通常不會增加性能，并且會使字符串比較更加困難。所以把所有的東西都改成小寫。

• 「刪除標(biāo)點」：我們可能需要刪除逗號、引號和其他不增加意義的標(biāo)點。

• 「刪除停用詞」：停用詞是像“she”、“the”和“of”這樣的詞，它們不會增加文本的含義，并且分散對關(guān)鍵字的注意力。

• 「刪除其他不相關(guān)單詞」：根據(jù)你的應(yīng)用程序，你可能希望刪除某些不相關(guān)的單詞。例如，如果評估課程回顧，像“教授”和“課程”這樣的詞可能沒有用。

• 「詞干/詞根化」：詞干分析和詞根化都會生成詞形變化單詞的詞根形式（例如：“running”到“run”）。詞干提取速度更快，但不能保證詞根是英語單詞。詞根化使用語料庫來確保詞根是一個單詞，但代價是速度。

• 「詞性標(biāo)注」：詞性標(biāo)注以詞性（名詞、動詞、介詞）為依據(jù)，根據(jù)詞義和語境來標(biāo)記單詞。例如，我們可以專注于名詞進行關(guān)鍵字提取。

有關(guān)這些概念的更全面的介紹，請查看以下指南：

https://towardsdatascience.com/a-practitioners-guide-to-natural-language-processing-part-i-processing-understanding-text-9f4abfd13e72

這些步驟是成功的預(yù)處理的基礎(chǔ)。根據(jù)數(shù)據(jù)集和任務(wù)的不同，你可以跳過某些步驟或添加新步驟。通過預(yù)處理手動觀察數(shù)據(jù)，并在出現(xiàn)問題時進行更正。

---

Python庫

讓我們來看看NLP的兩個主要Python庫。這些工具將在預(yù)處理期間，占據(jù)非常大的作用

NLTK

自然語言工具包是Python中使用最廣泛的NLP庫。NLTK是UPenn為學(xué)術(shù)目的而開發(fā)的，它有大量的特征和語料庫。NLTK非常適合處理數(shù)據(jù)和運行預(yù)處理：https://www.nltk.org/

NLTK是構(gòu)建Python程序以處理人類語言數(shù)據(jù)的領(lǐng)先平臺。它提供了易于使用的API

>>>?import?nltk>>>?sentence?=?"At?eight?o'clock?on?Thursday?morning?Arthur?didn't?feel?very?good.">>>?tokens?=?nltk.word_tokenize(sentence) >>>?tokens ['At',?'eight',?"o'clock",?'on',?'Thursday',?'morning',?'Arthur',?'did',?"n't",?'feel',?'very',?'good',?'.']>>>?tagged?=?nltk.pos_tag(tokens) >>>?tagged[0:6] [('At',?'IN'),?('eight',?'CD'),?("o'clock",?'JJ'),?('or',?'IN'),?('Thursday',?'NNP'),?('morning',?'NN')]

這是NLTK網(wǎng)站上的一個例子，它展示了標(biāo)記句子和標(biāo)記詞性是多么簡單。

SpaCy

SpaCy是一個現(xiàn)代的的庫。雖然NLTK對每個特性都有多個實現(xiàn)，但是SpaCy保留性能最好的實現(xiàn)。Spacy支持多種功能，有關(guān)詳細(xì)信息，請閱讀文檔：https://spacy.io/

只需幾行代碼，我們就可以使用SpaCy執(zhí)行命名實體識別。使用SpaCy api可以快速完成許多其他任務(wù)。

import?spacynlp?=?spacy.load("en_core_web_sm") text?=?("When?Sebastian?Thrun?started?working?on?self-driving?cars?at?""Google?in?2007,?few?people?outside?of?the?company?took?him?seriously")doc?=?nlp(text) for?entity?in?doc.ents:print(entity.text,?entity.label_)#?輸出 #?Sebastian?Thrun #?谷歌組織 #?2007日期

GenSim

與NLTK和SpaCy不同，GenSim專門解決信息檢索（IR）問題。GenSim的開發(fā)重點是內(nèi)存管理，它包含許多文檔相似性模型，包括Latent Semantic Indexing、Word2Vec和FastText:https://github.com/RaRe-Technologies/gensim

Gensim是一個Python庫，用于主題模型、文檔索引和大型語料庫的相似性檢索：https://github.com/RaRe-Technologies/gensim

下面是一個預(yù)先訓(xùn)練的GenSim Word2Vec模型的例子，它可以發(fā)現(xiàn)單詞的相似性。不用擔(dān)心那些雜亂無章的細(xì)節(jié)，我們可以很快得到結(jié)果。

import?gensim.downloader?as?api wv?=?api.load("word2vec-google-news-300")pairs?=?[('car',?'minivan'),????#?小型貨車是一種汽車('car',?'bicycle'),????#?也是有輪子的交通工具('car',?'airplane'),???#?沒有輪子，但仍然是交通工具('car',?'cereal'),?????#?...?等等('car',?'communism'), ]for?w1,?w2?in?pairs:print('%r\t%r\t%.2f?%?(w1,?w2,?wv.similarity(w1,?w2)))#?輸出 #?'car'???'minivan'????0.69 #?'car'???'bicycle'????0.54 #?'car'???'airplane'???0.42 #?'car'???'cereal'?????0.14 #?'car'???'communism'??0.06

還有更多…

這個列表并不全面，但涵蓋了一些用例。我建議檢查這個存儲庫以獲取更多的工具和參考：https://github.com/keon/awesome-nlp

---

應(yīng)用

既然我們已經(jīng)討論了預(yù)處理方法和Python庫，讓我們用幾個例子把它們放在一起。對于每種算法，我將介紹幾個NLP算法，根據(jù)我們的快速開發(fā)目標(biāo)選擇一個，并使用其中一個庫創(chuàng)建一個簡單的實現(xiàn)。

應(yīng)用1：預(yù)處理

預(yù)處理是任何NLP解決方案的關(guān)鍵部分，所以讓我們看看如何使用Python庫來加快處理速度。根據(jù)我的經(jīng)驗，NLTK擁有我們所需的所有工具，并針對獨特的用例進行定制。讓我們加載一個樣本語料庫：

import?nltk#?加載brown語料庫 corpus?=?nltk.corpus.brown#?訪問語料庫的文件 print(corpus.fileids())#?輸出 ['ca01',?'ca02',?'ca03',?'ca04',?'ca05',?'ca06',?'ca07',?'ca08',?'ca09',?'ca10',?'ca11',?'ca12',?'ca13',?'ca14',?'ca15',?'ca16','ca17',?'ca18',?'ca19',?'ca20',?'ca21',?'ca22',?'ca23',?'ca24',?'ca25',?'ca26',?'ca27',?'ca28',?'ca29',?'ca30',?'ca31',?'ca32','ca33',?'ca34',?'ca35',?'ca36',?'ca37',?'ca38',?'ca39',?'ca40',?'ca41',?'ca42',?'ca43',?'ca44',?'cb01',?'cb02',?'cb03',?'c...

按照上面定義的管道，我們可以使用NLTK來實現(xiàn)分段、刪除標(biāo)點和停用詞、執(zhí)行詞干化等等。看看刪除停用詞是多么容易：

from?nltk.corpus?import?stopwordssw?=?stopwords.words("english") sw?+=?""??#?空字符串def?remove_sw(doc):sentences?=?[]for?sentence?in?doc:sentence?=?[word?for?word?in?sentence?if?word?not?in?sw]sentences.append(sentence)return?sentencesprint("With?Stopwords") print(doc1[1]) print()doc1?=?remove_sw(doc1)print("Without?Stopwords") print(doc1[1])#?輸出 #?有停用詞 #?['the',?'jury',?'further',?'said',?'in',?'presentments',?'that',?'the',?'city',?'executive',?'committee',?'which',?'had', #?'charge',?'of',?'the',?'election',?'deserves',?'the',?'praise',?'and',?'thanks',?'of',?'the',?'city',?'of',?'atlanta',?'for',? #?'the',?'manner',?'in',?'which',?'the',?'election',?'was',?'conducted']#?沒有停用詞 #?['jury',?'said',?'presentments',?'city',?'executive',?'committee',?'charge',?'election',?'deserves',?'praise',?'thanks',?'city', #?'atlanta',?'manner',?'election',?'conducted']

整個預(yù)處理管道占用了我不到40行Python。請參閱此處的完整代碼。記住，這是一個通用的示例，你應(yīng)該根據(jù)你的特定用例的需要修改流程。

應(yīng)用2：文檔聚類

文檔聚類是自然語言處理中的一個常見任務(wù)，所以讓我們來討論一些方法。這里的基本思想是為每個文檔分配一個表示所討論主題的向量：

如果向量是二維的，我們可以像上面一樣可視化文檔。在這個例子中，我們看到文檔A和B是緊密相關(guān)的，而D和F是松散相關(guān)的。即使這些向量是3維、100維或1000維，使用距離度量的話，我們也可以計算相似性。

下一個問題是如何使用非結(jié)構(gòu)化文本輸入為每個文檔構(gòu)造這些向量。這里有幾個選項，從最簡單到最復(fù)雜的：

• 詞袋：為每個唯一的單詞分配一個索引。給定文檔的向量是每個單詞出現(xiàn)的頻率。

• TF-IDF：根據(jù)單詞在其他文檔中的常見程度來加強表示。如果兩個文檔共享一個稀有單詞，則它們比共享一個公共單詞更相似。

• 潛在語義索引（LSI）：詞袋和TF-IDF可以創(chuàng)建高維向量，這使得距離測量的準(zhǔn)確性降低。LSI將這些向量壓縮到更易于管理的大小，同時最大限度地減少信息損失。

• Word2Vec：使用神經(jīng)網(wǎng)絡(luò)，從大型文本語料庫中學(xué)習(xí)單詞的關(guān)聯(lián)關(guān)系。然后將每個單詞的向量相加得到一個文檔向量。

• Doc2Vec：在Word2Vec的基礎(chǔ)上構(gòu)建，但是使用更好的方法從單詞向量列表中近似文檔向量。

Word2Vec和Doc2Vec非常復(fù)雜，需要大量的數(shù)據(jù)集來學(xué)習(xí)單詞嵌入。我們可以使用預(yù)訓(xùn)練過的模型，但它們可能無法很好地適應(yīng)領(lǐng)域內(nèi)的任務(wù)。相反，我們將使用詞袋、TF-IDF和LSI。

現(xiàn)在選擇我們的庫。GenSim是專門為這個任務(wù)而構(gòu)建的，它包含所有三種算法的簡單實現(xiàn)，所以讓我們使用GenSim。

對于這個例子，讓我們再次使用Brown語料庫。它有15個文本類別的文檔，如“冒險”、“編輯”、“新聞”等。在運行我們的NLTK預(yù)處理例程之后，我們可以開始應(yīng)用GenSim模型。

首先，我們創(chuàng)建一個將標(biāo)識映射到唯一索引的字典。

from?gensim?import?corpora,?models,?similaritiesdictionary?=?corpora.Dictionary(corpus) dictionary.filter_n_most_frequent(1)??#?removes?"" num_words?=?len(dictionary) print(dictionary) print()print("Most?Frequent?Words") top10?=?sorted(dictionary.cfs.items(),?key=lambda?x:?x[1],?reverse=True)[:10] for?i,?(id,?freq)?in?enumerate(top10):print(i,?freq,?dictionary[id])#?輸出 #?Dictionary(33663?unique?tokens:?['1',?'10',?'125',?'15th',?'16']...)#?頻率最高的詞 #?0?3473?one #?1?2843?would #?2?2778?say #?3?2327?make #?4?1916?time #?5?1816?go #?6?1777?could #?7?1665?new #?8?1659?year #?9?1575?take

接下來，我們迭代地應(yīng)用詞袋、TF-IDF和潛在語義索引：

corpus_bow?=?[dictionary.doc2bow(doc)?for?doc?in?corpus] print(len(corpus_bow[0])) print(corpus_bow[0][:20])#?輸出 #?6106 #?[(0,?1),?(1,?3),?(2,?1),?(3,?1),?(4,?1),?(5,?1),?(6,?1),?(7,?1),?(8,?1),?(9,?2),?(10,?1),?(11,?1),?(12,?2),?(13,?2),?(14,?2),?(15, #?1),?(16,?2),?(17,?2),?(18,?3),?(19,?1)]tfidf_model?=?models.TfidfModel(corpus_bow) corpus_tfidf?=?tfidf_model[corpus_bow] print(len(corpus_tfidf[0])) print(corpus_tfidf[0][:20])#?輸出 #?5575 #?[(0,?0.001040495879718581),?(1,?0.0011016669638018743),?(2,?0.002351365659027428),?(3,?0.002351365659027428),?(4,? #?0.0013108697793088472),?(5,?0.005170600993729588),?(6,?0.003391861538746009),?(7,?0.004130105114011007),?(8,? #?0.003391861538746009),?(9,?0.008260210228022013),?(10,?0.004130105114011007),?(11,?0.001955787484706956),?(12,? #?0.0015918258736505996),?(13,?0.0015918258736505996),?(14,?0.008260210228022013),?(15,?0.0013108697793088472),?(16,? #?0.0011452524080876978),?(17,?0.002080991759437162),?(18,?0.004839366251287288),?(19,?0.0013108697793088472)]lsi_model?=?models.LsiModel(corpus_tfidf,?id2word=dictionary,?num_topics=20) corpus_lsi?=?lsi_model[corpus_tfidf] print(len(corpus_lsi[0])) print(corpus_lsi[0])#?輸出 #?15 #?[(0,?0.18682238167974372),?(1,?-0.4437583954806601),?(2,?0.22275580411969662),?(3,?0.06534575527078117),?(4,? #?-0.10021080420155845),?(5,?0.06653745783577146),?(6,?0.05025291839076259),?(7,?0.7117552624193217),?(8,?-0.3768886513901333),?(9,? #?0.1650380936828472),?(10,?0.13664364557932132),?(11,?-0.03947144082104315),?(12,?-0.03177275640769521),?(13,? #?-0.00890543444745628),?(14,?-0.009715808633565214)]

在大約10行Python代碼中，我們處理了三個獨立的模型，并為文檔提取了向量表示。利用余弦相似度進行向量比較，可以找到最相似的文檔。

categories?=?["adventure",?"belles_lettres",?"editorial",?"fiction",?"government",?"hobbies",?"humor",?"learned",?"lore",?"mystery",?"news",?"religion","reviews",?"romance",?"science_fiction"] num_categories?=?len(categories)for?i?in?range(3):print(categories[i])sims?=?index[lsi_model[corpus_bow[i]]]top3?=?sorted(enumerate(sims),?key=lambda?x:?x[1],?reverse=True,)[1:4]for?j,?score?in?top3:print(score,?categories[j])print()#?輸出 #?adventure #?0.22929086?fiction #?0.20346783?romance #?0.19324714?mystery#?belles_lettres #?0.3659389?editorial #?0.3413822?lore #?0.33065677?news#?editorial #?0.45590898?news #?0.38146105?government #?0.2897901?belles_lettres

就這樣，我們有結(jié)果了！冒險小說和浪漫小說最為相似，而社論則類似于新聞和政府。在這里查看完整的代碼：https://github.com/avgupta456/medium_nlp/blob/master/Similarity.ipynb。

應(yīng)用3：情感分析

情感分析是將非結(jié)構(gòu)化文本解釋為正面、負(fù)面或中性。情感分析是分析評論、衡量品牌、構(gòu)建人工智能聊天機器人等的有用工具。

與文檔聚類不同，在情感分析中，我們不使用預(yù)處理。段落的標(biāo)點符號、流程和上下文可以揭示很多關(guān)于情緒的信息，所以我們不想刪除它們。

為了簡單有效，我建議使用基于模式的情感分析。通過搜索特定的關(guān)鍵詞、句子結(jié)構(gòu)和標(biāo)點符號，這些模型測量文本的積極消極性。以下是兩個帶有內(nèi)置情感分析器的庫：

「VADER」 情感分析：

「VADER」 是 Valence Aware Dictionary and sEntiment Recognizer的縮寫，是NLTK用于情感分析的擴展。它使用模式來計算情緒，尤其適用于表情符號和短信俚語。它也非常容易實現(xiàn)。

from?vaderSentiment.vaderSentiment?import?SentimentIntensityAnalyzeranalyzer?=?SentimentIntensityAnalyzer()print(analyzer.polarity_scores("This?class?is?my?favorite!!!")) print(analyzer.polarity_scores("I?hate?this?class?:("))#?輸出 #?{'neg':?0.0,?'neu':?0.508,?'pos':?0.492,?'compound':?0.5962} #?{'neg':?0.688,?'neu':?0.312,?'pos':?0.0,?'compound':?-0.765}

TextBlob情感分析：

一個類似的工具是用于情感分析的TextBlob。TextBlob實際上是一個多功能的庫，類似于NLTK和SpaCy。在情感分析工具上，它與VADER在報告情感極性和主觀性方面都有所不同。從我個人的經(jīng)驗來看，我更喜歡VADER，但每個人都有自己的長處和短處。TextBlob也非常容易實現(xiàn)：

from?textblob?import?TextBlobtestimonial?=?TextBlob("This?class?is?my?favorite!!!") print(testimonial.sentiment)testimonial?=?TextBlob("I?hate?this?class?:(") print(testimonial.sentiment)#?輸出 #?Sentiment(polarity=0.9765625,?subjectivity=1.0) #?Sentiment(polarity=-0.775,?subjectivity=0.95)

注意：基于模式的模型在上面的例子中不能很好地處理這樣的小文本。我建議對平均四句話的文本進行情感分析。要快速演示這一點，請參閱Jupyter Notebook：https://github.com/avgupta456/medium_nlp/blob/master/Sentiment.ipynb

其他應(yīng)用

這里有幾個附加的主題和一些有用的算法和工具來加速你的開發(fā)。

• 「關(guān)鍵詞提取」：命名實體識別（NER）使用SpaCy，快速自動關(guān)鍵字提取（RAKE）使用ntlk-rake

• 「文本摘要」：TextRank（類似于PageRank）使用PyTextRank SpaCy擴展，TF-IDF使用GenSim

• 「拼寫檢查」：PyEnchant，SymSpell Python端口

希望這些示例有助于演示Python中可用于自然語言處理的大量資源。不管問題是什么，有人開發(fā)了一個庫來簡化流程。使用這些庫可以在短時間內(nèi)產(chǎn)生很好的結(jié)果。

---

提示和技巧

通過對NLP的介紹、Python庫的概述以及一些示例應(yīng)用程序，你幾乎可以應(yīng)對自己的挑戰(zhàn)了。最后，我有一些技巧和技巧來充分利用這些資源。

• 「Python工具」：我推薦Poetry 用于依賴關(guān)系管理，Jupyter Notebook用于測試新模型，Black和/或Flake8用于保持代碼風(fēng)格，GitHub用于版本管理。

• 「保持條理」：從一個庫跳到另一個庫，復(fù)制代碼到當(dāng)前你編寫的代碼測試雖然很容易實現(xiàn)，但是不好。我建議采取你采取合適的更慎重的方法，因為你不想在匆忙中錯過一個好的解決方案。

• 「預(yù)處理」：垃圾進，垃圾出。實現(xiàn)一個強大的預(yù)處理管道來清理輸入非常重要。目視檢查處理后的文本，以確保所有內(nèi)容都按預(yù)期工作。

• 「展示結(jié)果」：選擇如何展示你的結(jié)果會有很大的不同。如果輸出的文本看起來有點粗糙，可以考慮顯示聚合統(tǒng)計信息或數(shù)值結(jié)果。

原文鏈接：https://towardsdatascience.com/natural-language-processing-nlp-dont-reinvent-the-wheel-8cf3204383dd

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯獲取一折本站知識星球優(yōu)惠券，復(fù)制鏈接直接打開：https://t.zsxq.com/662nyZF本站qq群1003271085。加入微信群請掃碼進群（如果是博士或者準(zhǔn)備讀博士請說明）：

總結(jié)

以上是生活随笔為你收集整理的【NLP】几个NLP实用工具：不用重新造轮子的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。