作者 | Chetna Khanna

編譯 | VK
來源 | Towards Data Science

我們很清楚這樣一個事實：計算機可以很容易地處理數字。

然而，我們掌握的大部分信息都是以文本的形式存在的。我們通過直接與他們交談或使用短信、社交媒體帖子、電話、視頻通話等方式相互交流。為了創建智能系統，我們需要利用我們擁有的豐富信息。

自然語言處理（NLP）是人工智能的一個分支，它允許機器解釋人類語言。但是，機器不能直接使用，我們需要先對其進行預處理。

文本預處理是準備文本數據的過程，機器可以使用這些數據來執行分析、預測等任務。文本預處理有許多不同的步驟，但在本文中，我們將介紹停用詞，為什么要刪除它們，以及可以用來刪除它們的不同庫。

所以，讓我們開始吧。

什么是停用詞？

在處理自然語言之前通常被過濾掉的單詞稱為停用詞。這些詞實際上是任何語言中最常見的詞（如冠詞、介詞、代詞、連詞等），不會給文本增加太多信息。英語中幾個停用詞的例子是“the”，“a”，“an”，“so”，“what”。

為什么要刪除停用詞？

停用詞在任何人類語言中都是大量存在的。通過刪除這些詞，我們從文本中刪除了底層信息，以便更加關注重要的信息。我們可以說，刪除這些詞語并不會對我們的任務訓練產生任何負面影響。

刪除停用詞肯定會減少數據集的大小，從而減少訓練時間，因為訓練中涉及的標識數量較少。

我們總是刪除停用詞嗎？他們總是對我們沒用嗎？

答案是否定的！

我們并不能總是刪除停用詞。停用詞的刪除在很大程度上取決于我們正在執行的任務和我們想要實現的目標。例如，如果我們正在訓練一個可以執行情緒分析任務的模型，我們可能不會刪除停用詞。

影評：“The movie was not good at all.”

刪除停用詞后的文字：“movie good”

我們可以清楚地看到這部電影的評論是負面的。然而，在去掉停用詞之后，評論變得積極起來，這不是現實。因此，刪除停用詞在這里可能是有問題的。

像文本分類這樣的任務通常不需要停用詞，因為數據集中存在的其他詞更重要，并且給出了文本的一般概念。因此，我們通常會刪除這些任務中的停用詞。

簡單地說，NLP有很多任務在去掉停用詞后無法正常完成。因此，在執行此步驟之前，請先考慮一下。這里的問題是，沒有一條規則是通用的，也沒有一個停用詞列表是通用的。

注意事項：在刪除停用詞之前，先研究一下你的任務和你要解決的問題，然后再做決定。

有哪些不同的庫可以刪除停用詞？?????♀?

自然語言處理是當今研究最多的領域之一，在這一領域有了許多革命性的發展。NLP依賴于先進的計算技術，世界各地的開發人員已經創造了許多不同的工具來處理人類語言。

在這么多的庫中，有一些非常流行，并且在執行許多不同的NLP任務時有很大幫助。

下面給出了一些用于刪除英語停用詞的庫、停用詞列表以及代碼。

自然語言工具包（NLTK）：

NLTK是一個可以使用自然語言庫。當你將開始你的NLP之旅，這是你將使用的第一個庫。導入庫和英語停用詞列表的步驟如下：

import?nltk from?nltk.corpus?import?stopwordssw_nltk?=?stopwords.words('english') print(sw_nltk)

輸出：

['i',?'me',?'my',?'myself',?'we',?'our',?'ours',?'ourselves',?'you',?"you're",?"you've",?"you'll",?"you'd",?'your',?'yours',?'yourself',?'yourselves',?'he',?'him',?'his',?'himself',?'she',?"she's",?'her',?'hers',?'herself',?'it',?"it's",?'its',?'itself',?'they',?'them',?'their',?'theirs',?'themselves',?'what',?'which',?'who',?'whom',?'this',?'that',?"that'll",?'these',?'those',?'am',?'is',?'are',?'was',?'were',?'be',?'been',?'being',?'have',?'has',?'had',?'having',?'do',?'does',?'did',?'doing',?'a',?'an',?'the',?'and',?'but',?'if',?'or',?'because',?'as',?'until',?'while',?'of',?'at',?'by',?'for',?'with',?'about',?'against',?'between',?'into',?'through',?'during',?'before',?'after',?'above',?'below',?'to',?'from',?'up',?'down',?'in',?'out',?'on',?'off',?'over',?'under',?'again',?'further',?'then',?'once',?'here',?'there',?'when',?'where',?'why',?'how',?'all',?'any',?'both',?'each',?'few',?'more',?'most',?'other',?'some',?'such',?'no',?'nor',?'not',?'only',?'own',?'same',?'so',?'than',?'too',?'very',?'s',?'t',?'can',?'will',?'just',?'don',?"don't",?'should',?"should've",?'now',?'d',?'ll',?'m',?'o',?'re',?'ve',?'y',?'ain',?'aren',?"aren't",?'couldn',?"couldn't",?'didn',?"didn't",?'doesn',?"doesn't",?'hadn',?"hadn't",?'hasn',?"hasn't",?'haven',?"haven't",?'isn',?"isn't",?'ma',?'mightn',?"mightn't",?'mustn',?"mustn't",?'needn',?"needn't",?'shan',?"shan't",?'shouldn',?"shouldn't",?'wasn',?"wasn't",?'weren',?"weren't",?'won',?"won't",?'wouldn',?"wouldn't"]

讓我們檢查一下這個庫有多少停用詞。

print(len(sw_nltk))

輸出：

179

讓我們把文本中的停用詞去掉。

text?=?"When?I?first?met?her?she?was?very?quiet.?She?remained?quiet?during?the?entire?two?hour?long?journey?from?Stony?Brook?to?New?York."words?=?[word?for?word?in?text.split()?if?word.lower()?not?in?sw_nltk] new_text?=?"?".join(words)print(new_text) print("Old?length:?",?len(text)) print("New?length:?",?len(new_text))

上面的代碼很簡單，但我還是會向初學者解釋。

我擁有一段文本，我把文本分成單詞，因為停用詞是一個單詞列表。然后我將單詞改為小寫，因為停用詞列表中的所有單詞都是小寫的。然后我創建了一個不在停用詞列表中的所有單詞的列表。然后將得到的列表連接起來再次組成句子。

輸出：

first?met?quiet.?remained?quiet?entire?two?hour?long?journey?Stony?Brook?New?York. Old?length:??129 New?length:??82

我們可以清楚地看到，刪除停用詞將句子的長度從129縮短到82。

請注意，我將使用類似的代碼來解釋每個庫中的停用詞。

spaCy:

spaCy是一個用于高級NLP的開源軟件庫。這個庫現在非常流行，NLP從業者使用它來完成他們的工作。

import?spacy #?加載英文空間小模型 en?=?spacy.load('en_core_web_sm') sw_spacy?=?en.Defaults.stop_words print(sw_spacy)

輸出

{'those',?'on',?'own',?'’ve',?'yourselves',?'around',?'between',?'four',?'been',?'alone',?'off',?'am',?'then',?'other',?'can',?'regarding',?'hereafter',?'front',?'too',?'used',?'wherein',?'‘ll',?'doing',?'everything',?'up',?'onto',?'never',?'either',?'how',?'before',?'anyway',?'since',?'through',?'amount',?'now',?'he',?'was',?'have',?'into',?'because',?'not',?'therefore',?'they',?'n’t',?'even',?'whom',?'it',?'see',?'somewhere',?'thereupon',?'nothing',?'whereas',?'much',?'whenever',?'seem',?'until',?'whereby',?'at',?'also',?'some',?'last',?'than',?'get',?'already',?'our',?'once',?'will',?'noone',?"'m",?'that',?'what',?'thus',?'no',?'myself',?'out',?'next',?'whatever',?'although',?'though',?'which',?'would',?'therein',?'nor',?'somehow',?'whereupon',?'besides',?'whoever',?'ourselves',?'few',?'did',?'without',?'third',?'anything',?'twelve',?'against',?'while',?'twenty',?'if',?'however',?'herself',?'when',?'may',?'ours',?'six',?'done',?'seems',?'else',?'call',?'perhaps',?'had',?'nevertheless',?'where',?'otherwise',?'still',?'within',?'its',?'for',?'together',?'elsewhere',?'throughout',?'of',?'others',?'show',?'’s',?'anywhere',?'anyhow',?'as',?'are',?'the',?'hence',?'something',?'hereby',?'nowhere',?'latterly',?'say',?'does',?'neither',?'his',?'go',?'forty',?'put',?'their',?'by',?'namely',?'could',?'five',?'unless',?'itself',?'is',?'nine',?'whereafter',?'down',?'bottom',?'thereby',?'such',?'both',?'she',?'become',?'whole',?'who',?'yourself',?'every',?'thru',?'except',?'very',?'several',?'among',?'being',?'be',?'mine',?'further',?'n‘t',?'here',?'during',?'why',?'with',?'just',?"'s",?'becomes',?'’ll',?'about',?'a',?'using',?'seeming',?"'d",?"'ll",?"'re",?'due',?'wherever',?'beforehand',?'fifty',?'becoming',?'might',?'amongst',?'my',?'empty',?'thence',?'thereafter',?'almost',?'least',?'someone',?'often',?'from',?'keep',?'him',?'or',?'‘m',?'top',?'her',?'nobody',?'sometime',?'across',?'‘s',?'’re',?'hundred',?'only',?'via',?'name',?'eight',?'three',?'back',?'to',?'all',?'became',?'move',?'me',?'we',?'formerly',?'so',?'i',?'whence',?'under',?'always',?'himself',?'in',?'herein',?'more',?'after',?'themselves',?'you',?'above',?'sixty',?'them',?'your',?'made',?'indeed',?'most',?'everywhere',?'fifteen',?'but',?'must',?'along',?'beside',?'hers',?'side',?'former',?'anyone',?'full',?'has',?'yours',?'whose',?'behind',?'please',?'ten',?'seemed',?'sometimes',?'should',?'over',?'take',?'each',?'same',?'rather',?'really',?'latter',?'and',?'ca',?'hereupon',?'part',?'per',?'eleven',?'ever',?'‘re',?'enough',?"n't",?'again',?'‘d',?'us',?'yet',?'moreover',?'mostly',?'one',?'meanwhile',?'whither',?'there',?'toward',?'’m',?"'ve",?'’d',?'give',?'do',?'an',?'quite',?'these',?'everyone',?'towards',?'this',?'cannot',?'afterwards',?'beyond',?'make',?'were',?'whether',?'well',?'another',?'below',?'first',?'upon',?'any',?'none',?'many',?'serious',?'various',?'re',?'two',?'less',?'‘ve'}

名單很長。讓我們檢查一下這個庫有多少停用詞。

print(len(sw_spacy))

輸出：

326

哇，326！讓我們把前一篇文本中的停用詞去掉。

words?=?[word?for?word?in?text.split()?if?word.lower()?not?in?sw_spacy] new_text?=?"?".join(words) print(new_text) print("Old?length:?",?len(text)) print("New?length:?",?len(new_text))

輸出：

met?quiet.?remained?quiet?entire?hour?lomg?journey?Stony?Brook?New?York. Old?length:??129 New?length:??72

我們可以清楚地看到，刪除停用詞將句子的長度從129縮短到72，甚至比NLTK還要短，因為spaCy庫中的停用詞比NLTK多。不過，在本例中，結果非常相似。

Gensim:

Gensim（Generate-Similar）是一個使用現代統計機器學習的開源軟件庫。根據Wikipedia的說法，Gensim被設計成使用數據流和增量在線算法來處理大型文本集合，這與其他大多數只針對內存處理的機器學習軟件包不同。

import?gensim from?gensim.parsing.preprocessing?import?remove_stopwords,?STOPWORDS print(STOPWORDS)

輸出：

frozenset({'those',?'on',?'own',?'yourselves',?'ie',?'around',?'between',?'four',?'been',?'alone',?'off',?'am',?'then',?'other',?'can',?'cry',?'regarding',?'hereafter',?'front',?'too',?'used',?'wherein',?'doing',?'everything',?'up',?'never',?'onto',?'how',?'either',?'before',?'anyway',?'since',?'through',?'amount',?'now',?'he',?'cant',?'was',?'con',?'have',?'into',?'because',?'inc',?'not',?'therefore',?'they',?'even',?'whom',?'it',?'see',?'somewhere',?'interest',?'thereupon',?'thick',?'nothing',?'whereas',?'much',?'whenever',?'find',?'seem',?'until',?'whereby',?'at',?'ltd',?'fire',?'also',?'some',?'last',?'than',?'get',?'already',?'our',?'doesn',?'once',?'will',?'noone',?'that',?'what',?'thus',?'no',?'myself',?'out',?'next',?'whatever',?'although',?'though',?'etc',?'which',?'would',?'therein',?'nor',?'somehow',?'whereupon',?'besides',?'whoever',?'thin',?'ourselves',?'few',?'did',?'third',?'without',?'twelve',?'anything',?'against',?'while',?'twenty',?'if',?'however',?'found',?'herself',?'when',?'may',?'six',?'ours',?'done',?'seems',?'else',?'call',?'perhaps',?'had',?'nevertheless',?'fill',?'where',?'otherwise',?'still',?'within',?'its',?'for',?'together',?'elsewhere',?'throughout',?'of',?'eg',?'others',?'show',?'sincere',?'anywhere',?'anyhow',?'as',?'are',?'the',?'hence',?'something',?'hereby',?'nowhere',?'latterly',?'de',?'say',?'does',?'neither',?'his',?'go',?'forty',?'put',?'their',?'by',?'namely',?'km',?'could',?'five',?'unless',?'itself',?'is',?'nine',?'whereafter',?'down',?'bottom',?'thereby',?'such',?'both',?'she',?'become',?'whole',?'who',?'yourself',?'every',?'thru',?'except',?'very',?'several',?'among',?'being',?'be',?'mine',?'further',?'here',?'during',?'why',?'with',?'just',?'becomes',?'about',?'a',?'co',?'using',?'seeming',?'due',?'wherever',?'beforehand',?'detail',?'fifty',?'becoming',?'might',?'amongst',?'my',?'empty',?'thence',?'thereafter',?'almost',?'least',?'someone',?'often',?'from',?'keep',?'him',?'or',?'top',?'her',?'didn',?'nobody',?'sometime',?'across',?'hundred',?'only',?'via',?'name',?'eight',?'three',?'back',?'to',?'all',?'became',?'move',?'me',?'we',?'formerly',?'so',?'i',?'whence',?'describe',?'under',?'always',?'himself',?'more',?'herein',?'in',?'after',?'themselves',?'you',?'them',?'above',?'sixty',?'hasnt',?'your',?'made',?'everywhere',?'indeed',?'most',?'kg',?'fifteen',?'but',?'must',?'along',?'beside',?'hers',?'computer',?'side',?'former',?'full',?'anyone',?'has',?'yours',?'whose',?'behind',?'please',?'mill',?'amoungst',?'ten',?'seemed',?'sometimes',?'should',?'over',?'take',?'each',?'don',?'same',?'rather',?'really',?'latter',?'and',?'part',?'hereupon',?'per',?'eleven',?'ever',?'enough',?'again',?'us',?'yet',?'moreover',?'mostly',?'one',?'meanwhile',?'whither',?'there',?'toward',?'give',?'system',?'do',?'quite',?'an',?'these',?'everyone',?'towards',?'this',?'bill',?'cannot',?'un',?'afterwards',?'beyond',?'make',?'were',?'whether',?'well',?'another',?'below',?'first',?'upon',?'any',?'none',?'many',?'various',?'serious',?'re',?'two',?'less',?'couldnt'})

又是一張長長的列表。讓我們檢查一下這個庫有多少停用詞。

print(len(STOPWORDS))

輸出：

337

嗯！類似的計算為spaCy。讓我們把文本中的停用詞去掉。

new_text?=?remove_stopwords(text) print(new_text)print("Old?length:?",?len(text)) print("New?length:?",?len(new_text))

我們可以看到，使用Gensim庫刪除停用詞非常簡單。

輸出：

When?I?met?quiet.?She?remained?quiet?entire?hour?long?journey?Stony?Brook?New?York. Old?length:??129 New?length:??83

去掉了停用詞，句子的長度從129縮短到83。我們可以看到，盡管spaCy和Gensim中停用詞的長度是相似的，但結果卻是完全不同的。

Scikit-Learn:

Scikit學習不需要介紹。它是一個免費的Python機器學習庫。它可能是最強大的機器學習庫。

from?sklearn.feature_extraction.text?import?ENGLISH_STOP_WORDS print(ENGLISH_STOP_WORDS)

輸出：

frozenset({'those',?'on',?'own',?'yourselves',?'ie',?'around',?'between',?'four',?'been',?'alone',?'off',?'am',?'then',?'other',?'can',?'cry',?'hereafter',?'front',?'too',?'wherein',?'everything',?'up',?'onto',?'never',?'either',?'how',?'before',?'anyway',?'since',?'through',?'amount',?'now',?'he',?'cant',?'was',?'con',?'have',?'into',?'because',?'inc',?'not',?'therefore',?'they',?'even',?'whom',?'it',?'see',?'somewhere',?'interest',?'thereupon',?'nothing',?'thick',?'whereas',?'much',?'whenever',?'find',?'seem',?'until',?'whereby',?'at',?'ltd',?'fire',?'also',?'some',?'last',?'than',?'get',?'already',?'our',?'once',?'will',?'noone',?'that',?'what',?'thus',?'no',?'myself',?'out',?'next',?'whatever',?'although',?'though',?'etc',?'which',?'would',?'therein',?'nor',?'somehow',?'whereupon',?'besides',?'whoever',?'thin',?'ourselves',?'few',?'third',?'without',?'anything',?'twelve',?'against',?'while',?'twenty',?'if',?'however',?'found',?'herself',?'when',?'may',?'ours',?'six',?'done',?'seems',?'else',?'call',?'perhaps',?'had',?'nevertheless',?'fill',?'where',?'otherwise',?'still',?'within',?'its',?'for',?'together',?'elsewhere',?'throughout',?'of',?'eg',?'others',?'show',?'sincere',?'anywhere',?'anyhow',?'as',?'are',?'the',?'hence',?'something',?'hereby',?'nowhere',?'de',?'latterly',?'neither',?'his',?'go',?'forty',?'put',?'their',?'by',?'namely',?'could',?'five',?'itself',?'is',?'nine',?'whereafter',?'down',?'bottom',?'thereby',?'such',?'both',?'she',?'become',?'whole',?'who',?'yourself',?'every',?'thru',?'except',?'very',?'several',?'among',?'being',?'be',?'mine',?'further',?'here',?'during',?'why',?'with',?'becomes',?'about',?'a',?'co',?'seeming',?'due',?'wherever',?'beforehand',?'detail',?'fifty',?'becoming',?'might',?'amongst',?'my',?'empty',?'thence',?'thereafter',?'almost',?'least',?'someone',?'often',?'from',?'keep',?'him',?'or',?'top',?'her',?'nobody',?'sometime',?'across',?'hundred',?'only',?'via',?'name',?'eight',?'three',?'back',?'to',?'all',?'became',?'move',?'me',?'we',?'formerly',?'so',?'i',?'whence',?'describe',?'under',?'always',?'himself',?'in',?'herein',?'more',?'after',?'themselves',?'you',?'above',?'sixty',?'them',?'hasnt',?'your',?'made',?'indeed',?'most',?'everywhere',?'fifteen',?'but',?'must',?'along',?'beside',?'hers',?'side',?'former',?'anyone',?'full',?'has',?'yours',?'whose',?'behind',?'please',?'amoungst',?'mill',?'ten',?'seemed',?'sometimes',?'should',?'over',?'take',?'each',?'same',?'rather',?'latter',?'and',?'hereupon',?'part',?'per',?'eleven',?'ever',?'enough',?'again',?'us',?'yet',?'moreover',?'mostly',?'one',?'meanwhile',?'whither',?'there',?'toward',?'give',?'system',?'do',?'an',?'these',?'everyone',?'towards',?'this',?'bill',?'cannot',?'un',?'afterwards',?'beyond',?'were',?'whether',?'well',?'another',?'below',?'first',?'upon',?'any',?'none',?'many',?'serious',?'re',?'two',?'couldnt',?'less'})

又是一張長長的列表。讓我們檢查一下這個庫有多少停用詞。

print(len(ENGLISH_STOP_WORDS))

輸出：

318

讓我們把文本中的停用詞去掉。

words?=?[word?for?word?in?text.split()?if?word.lower()?not?in?ENGLISH_STOP_WORDS] new_text?=?"?".join(words) print(new_text) print("Old?length:?",?len(text)) print("New?length:?",?len(new_text))

輸出：

met?quiet.?remained?quiet?entire?hour?long?journey?Stony?Brook?New?York. Old?length:??129 New?length:??72

去掉了停用詞，句子的長度從129縮短到72。我們可以看到sciketlearn和spaCy產生了相同的結果。

我能把我自己的停用詞加到列表上嗎？

是的，我們還可以在這些庫中提供的停用詞列表中添加自定義停用詞，以達到我們的目的。

下面是將一些自定義停用詞添加到NLTK停用詞列表的代碼：

sw_nltk.extend(['first',?'second',?'third',?'me']) print(len(sw_nltk))

輸出：

183

我們可以看到NLTK停用詞的長度現在是183而不是179。現在，我們可以使用相同的代碼從文本中刪除停用詞。

我可以從預先制作的列表中刪除停用詞嗎？

是的，如果我們愿意，我們也可以從這些庫中可用的列表中刪除停用詞。

以下是使用NLTK庫的代碼：

sw_nltk.remove('not')

停用詞“not”現在從停用詞列表中刪除。

根據所使用的庫，你可以執行相關操作，從預定義列表中添加或刪除停用詞。我指出這一點是因為NLTK返回一個停用詞列表，而其他庫返回一組停用詞。

如果我們不想使用這些庫，我們也可以創建自己的自定義停用詞列表并在任務中使用它。這通常是當我們在我們的領域有專業知識，也就是當我們知道哪些詞是停用詞。

看看下面的代碼，看看這是多么簡單。

#?創建自定義停用詞列表 my_stop_words?=?['her','me','i','she','it']words?=?[word?for?word?in?text.split()?if?word.lower()?not?in?my_stop_words] new_text?=?"?".join(words) print(new_text) print("Old?length:?",?len(text)) print("New?length:?",?len(new_text))

輸出：

When?first?met?was?very?quiet.?remained?quiet?during?the?entire?two?hour?long?journey?from?Stony?Brook?to?New?York. Old?length:??129 New?length:??115

以類似的方式，你可以根據任務創建停用詞列表并使用它。

我們在本文中觀察到，不同的庫有不同的停用詞集合，我們可以清楚地說，停用詞是任何語言中使用頻率最高的詞。

盡管可以使用這些庫中的任何一個從文本中刪除停用詞，但是對于整個文本預處理任務，使用同一個庫是非常明智的。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【NLP】文本预处理：删除单词停用词的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。