詞性標注（Part-of-Speech Tagging, POS）、命名實體識別（Name Entity Recognition，NER）和依存句法分析（Dependency Parsing）是自然語言處理中常用的基本任務，本文基于SpaCy python庫，通過一個具體的代碼實踐任務，詳細解釋這三種NLP任務具體是什么，以及在實踐中三個任務相互之間的關系。

?

?

介紹

說到數據科學時，我們經常想到的是數字的統計分析。但是，越來越多的情況下，社區會生成大量可以量化和分析的非結構化文本數據。比如，社交網絡評論、產品評論、電子郵件、面試記錄。

為了分析文本，數據科學家經常使用自然語言處理( NLP )技術。在這篇博客文章中，我們將講解3個常見的NLP任務，看看它們如何一起用于分析文本。我們將討論的三項任務是:

1、詞性標注——這是什么類型的詞？

2、依存句法分析——這個詞和這個句子中的其他詞有什么關系？

3、命名實體識別——這個詞是專有名詞嗎？

我們將基于spaCy python庫，將三種NLP任務綜合放在一起，分析它們是如何協同工作的。在這兒，我們將使用這些結構化的數據進行一些有趣的可視化。

這種方法可以應用于任何問題，在這些問題擁有大量的文本數據，我們需要了解主要實體是誰，它們出現在文檔中的位置，以及它們在做什么。例如，DocumentCloud在其“View Entities”分析選項中使用了與此類似的方法。

?

Token（符號）&詞性標注

從文本中提取含義（meaning）的一種方法是分析單個單詞。將文本分解成單詞的過程稱為tokenization——產生的單詞稱為token（tokens）。標點符號也是tokens。句子中的每一個token都有幾個我們可以用來分析的屬性。比如說一個詞的詞性：人、地方或事物是名詞；動作或事件是動詞；描述名詞的詞是形容詞。使用這些屬性，通過通過簡單的計算最常見的名詞、動詞和形容詞來創建一段文本的摘要。

使用spaCy，我們可以tokenize一段文本，并訪問每個token（token）的詞性屬性。作為一個示例應用程序，一下代碼給出了一個實例,我們先對一段話進行標簽化，然后計算其中最常見的名詞。我們還將對這些token進行歸類，定義一個詞為根節點，方便我們對其他的詞進行標準化。

?

依存句法分析

單詞之間也是有關系的，有幾種類型的關系。例如，名詞可以成為句子的主語，表示它執行了一個動作(一個動詞)，如“吉爾笑了”。名詞也可以是句子的賓語，表示被句子的主語所作用，就像這句話中的約翰一樣：”吉爾嘲笑約翰。"

依存句法分析是理解句子中單詞之間關系的一種方法。雖然吉爾和約翰都是句子“吉爾嘲笑約翰”中的名詞，但吉爾是笑的主體，約翰是被嘲笑的對象。依存關系是一種更細粒度的屬性，可以通過句子中的關系來理解單詞的含義。

這些詞之間的關系會變得復雜，這取決于句子的結構。依存句法分析的結果是以動詞為根的樹形數據結構。

讓我們來看一下“The quick brown fox jumps over the lazy dog” 的依存關系分析。

依存關系也是token屬性，spaCy有一個很好的API，可以訪問不同的token屬性。下面我們將打印出每個token的文本、其依存關系以及其parent(頭)token的文本。

出于分析的目的，我們關心任何具有nobj關系的token，表明它們是句子中的對象。在例句中，這意味著我們想要捕捉“狐貍”這個詞。

?

命名實體識別

最后是命名實體識別。命名實體是句子的專有名詞。計算機已經非常擅長于判斷在句子中是否存在實體，以及區分它們是什么類型的實體。

spaCy可以處理document level的命名實體識別，因為一個實體的名稱可以跨越多個token。使用IOB方案將分別表示單個token實體的一部分，分別表示token實體的開始、內部和外部。

在下面的代碼中，我們將打印初文檔中所有命名實體。然后，我們將打印每個token、其IOB注釋、其實體類型(如果它是實體的一部分)。我們將使用的例句是“Jill laughed at John Johnson."

?

實例解析：NLPing圣經

上面提到的每種方法本身都很棒，但是當我們將這些方法結合起來提取遵循語言模式的信息時，自然語言處理的真正力量就顯示出來了。我們可以使用詞性標注、依存句法分析和命名實體識別來理解大量文本中的所有參與者（actors）及其行為（actions）。圣經是一個很好的例子，因為它很長且具有豐富的角色。

如下圖所示，我們正在導入的數據包含每個圣經章節一個對象。經文被用作圣經部分的參考資料，通常包含一句或多句經文。我們將仔細閱讀每一節，提取主題，確定它是否是一個人，并抽出這個人所做的動作。

首先，讓我們將圣經以JSON格式從GitHub存儲庫中載入。然后，我們將抽出每一節中的文本，通過spaCy進行依存解析和tagging，并將結果存入文檔。

我們用3分鐘左右的時間將JSON中的文本解析成verse_docs，大約每秒160節。作為參考，以下是bible_JSON的前3行:

?

使用token屬性

為了提取actors和actions，我們將迭代一首詩中的所有token，并考慮3個因素:

1. token是句子的主語嗎(它是依存關系nsubj嗎？) 。

2. 是一個動詞token的parent嗎？(這通常應該是真的，但是有時POS標記器和依存解析之間會有沖突，所以必須小心處理。另外，可能還存在其他一些奇怪的邊緣案例（edge cases）。

3. token是一個人名實體嗎？我們不想提取任何非人的名詞。(為了簡單起見，我們只提取名字)

如果我們的token滿足上述三個條件，我們將收集以下屬性:

1. 名詞/實體token。

2. 從名詞到動詞之間的短語（span/phrase）。

3. 動詞。

4. 標準英文文本中動詞出現的概率(在這里使用使用這些記錄是因為這些概率通常都很小)。

5. 詩號（verse number）。

?

分析

我們已經抽取出了一份包含所有actor及其actions的列表。為了加快分析，需要做兩件事:

1、找出每個人最常見的action(動詞)。

2、找出每個人最獨特的action。它們往往是英語文本中出現概率最低的動詞。

讓我們看看按動詞計數和最常見動詞排列的top-15名actor。

看起來圣經里的很多人都說過話，除了Solomon之外，他做了很多事情。

從動詞出現的概率來看，最獨特的動詞是什么呢？(先刪除重復詞，這樣每個詞都是獨一無二的)

看來我們似乎有一些有趣的新單詞要學！我最喜歡的是discomfited和ravin。

?

可視化

接下來讓我們可視化我們的結果。選擇行動最多的前50個名字，并在畫出這些actions在整篇文章出現過的詩句。我們也將在圣經的每本書開始處畫垂直線做標記。名字按首次出現的順序排序。

我們可以看一下在圣經中的那些部分，這些人物最活躍。

我們將添加一些分隔符來區分圣經的不同章節。我本人不是圣經學者，所以我使用了如下分隔符:

舊約:

摩西五經，或法律書籍:Genesis, Exodus, Leviticus, Numbers, and Deuteronomy。

舊約歷史書:oshua, Judges, Ruth, 1 Samuel, 2 Samuel, 1 Kings, 2 Kings, 1 Chronicles, 2 Chronicles, Ezra, Nehemiah, and Esther。

智慧文學:Job, Psalms, Proverbs, Ecclesiastes, and Song of Solomon。

先知:?Isaiah, Jeremiah, Lamentations, Ezekiel, Daniel, Hosea, Joel, Amos, Obadiah, Jonah, Micah, Nahum, Habakkuk, Zephaniah, Haggai, Zechariah, 和Malachi。

新約:

福音書:馬修、馬克、盧克和約翰。

新約歷史書:Acts

書信:?Romans, 1 Corinthians, 2 Corinthians, Galatians, Ephesians, Philippians, Colossians, 1 Thessalonians, 2 Thessalonians, 1 Timothy, 2 Timothy, Titus, Philemon, Hebrews, James, 1 Peter, 2 Peter, 1 John, 2 John, 3 John, and Jude.。

預言/啟示文學:啟示

此外，我們將用紅色的指示線將舊約和新約分開。

出現在圣經里面的Actions，按照它們第一次出現的位置排序。

?

可視化分析

在圣經的開頭，創世紀里，神被多次提到。

上帝不再被用作新約全書中的實體。

我們在使徒行傳中第一次看到保羅。(福音書之后的第一本書)

圣經中的智慧和詩歌部分沒有太多實體。

耶穌的一生在福音書中被詳細記載。

彼拉多出現在每一部福音書的末尾。

?

這種方法的問題

實體識別無法區分同名的兩個不同的人。比如：King Saul(舊約)，Paul(使徒)被稱為Saul，直到Acts書的中間部分。

有些名詞不是實際的實體。

一些名詞可以用更多的上下文和全名。(彼拉多)

?

下一步

一如既往，有一些方法可以擴展和改進這一分析。寫這篇文章時，我想到了幾個:

1 .使用依存關系查找實體之間的關系，并通過網絡分析方法理解字符。

2. 改進實體提取方法以捕獲單個名稱以外的實體。

3. 對非個人實體及其語言關系進行分析——圣經中提到了哪些位置？

?

總結：

我們只需要使用文本中的token級屬性就可以做一些有趣的分析。在這篇博客文章中，我們介紹了三個關鍵的NLP工具:

詞性標注——這是什么類型的詞？

依存句法分析——這個詞和這個句子中的其他詞有什么關系？

命名實體識別——這個詞是專有名詞嗎？

我們一起運用這三種工具來發現圣經中的主要角色是誰，以及他們采取了什么行動。對這些actor和及他么的動作進行了可視化，以了解每個actor的主要action在哪里。

總結

以上是生活随笔為你收集整理的神圣的NLP！一文理解词性标注、依存分析和命名实体识别任务的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。