一 序

? 本文屬于NLP學習筆記系列。

二 停用詞

對于NLP的應用，我們通常將停用詞、出現頻率很低的詞過濾掉。

關于停用詞詞典，可以看下之前的：?文本預處理與停用詞

這個主要是對業務影響不大，不影響分析，類似于特征篩選的過程。

要考慮自己的應用場景。

case：一些形容詞通常會過濾掉，但是在情感分析中表達語氣要保留。

自己會做修改。

三 詞的標準化

? 這塊就是英文的。舉例：went,go,going? 時態不同，還有單復數，比較級等等。

? 涉及技術：

? ?詞干提取（stemming）是抽取詞的詞干或詞根形式（不一定能夠表達完整語義）

??詞形還原（lemmatization），是把一個任何形式的語言詞匯還原為一般形式（能表達完整語義）

? 中文不涉及，所以就不看了。感興趣的可以看看porter stemmer.

總結

以上是生活随笔為你收集整理的NLP 学习笔记9-停用词的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。