文章目錄

• • 從頭開始訓(xùn)練一個依存分析器
  • • 重要概念
    • 關(guān)系標(biāo)簽
    • 標(biāo)注關(guān)系
    • 應(yīng)用場景
  • 一、自定義模型
  • • • 1、導(dǎo)入所需要的包與模塊
      • 2、導(dǎo)入訓(xùn)練樣本
  • 二、訓(xùn)練模型
  • • • 1、模型參數(shù)的注解（語種、輸出目錄以及訓(xùn)練迭代次數(shù)）
      • 2、對現(xiàn)有的模型進行優(yōu)化
      • 3、創(chuàng)建內(nèi)置管道組件
      • 4、添加train data的標(biāo)簽
      • 5、構(gòu)建模型
      • 6、模型保存
  • 三、模型測試
  • 不足的地方
  • 參考

從頭開始訓(xùn)練一個依存分析器

依存句法通過分析語言單位內(nèi)成分之前的依存關(guān)系解釋其句法結(jié)構(gòu)，主張句子中核心動詞是支配其他成分的中心成分。而它本身卻不受其他任何成分的支配，所有受支配成分都以某種關(guān)系從屬于支配者。

重要概念

• 依存句法認為“謂語”中的動詞是一個句子的中心，其他成分與動詞直接或間接地產(chǎn)生聯(lián)系。
• 依存句法理論中，“依存”指詞與詞之間支配與被支配的關(guān)系，這種關(guān)系不是對等的，這種關(guān)系具有方向。確切的說，處于支配地位的成分稱之為支配者，而處于被支配地位的成分稱之為從屬者。
• 依存語法本身沒有規(guī)定要對依存關(guān)系進行分類，但為了豐富依存結(jié)構(gòu)傳達的句法信息，在實際應(yīng)用中，一般會給依存樹的邊加上不同的標(biāo)記。
• 依存語法存在一個共同的基本假設(shè)：句法結(jié)構(gòu)本質(zhì)上包含詞和詞之間的依存（修飾）關(guān)系。一個依存關(guān)系連接兩個詞，分別是核心詞和依存詞。依存關(guān)系可以細分為不同的類型，表示兩個詞之間的具體句法關(guān)系。
  
  

關(guān)系標(biāo)簽

標(biāo)簽表示從屬的語法功能，名詞性的標(biāo)簽是：

• root：中心詞，通常是動詞
• nsubj：名詞性主語（nominal subject）
• dobj：直接賓語（direct object）
• prep：介詞
• pobj：介詞賓語
• cc：連詞

其他常用的標(biāo)簽：

• compound：復(fù)合詞
• advmod：狀語
• det：限定詞
• amod：形容詞修飾語-
  
  

標(biāo)注關(guān)系

中文依存分析關(guān)系如下：

應(yīng)用場景

• 幫助進行NER標(biāo)注：名詞短語通常被標(biāo)記為一個完整的實體，這些短語經(jīng)過語法解析后就可以被準(zhǔn)確識別。
• 機器翻譯：通過構(gòu)建完整的語法樹，可以正確的建立詞語之間的關(guān)系避免翻譯歧義。
• 通過重新定義詞語之間的聯(lián)系，識別詞語之間的關(guān)系，例如：人物親戚關(guān)系。

接下來開始 spaCy 訓(xùn)練依存分析器。

注：本文使用 spaCy 3.0 代碼實現(xiàn)。

一、自定義模型

1、導(dǎo)入所需要的包與模塊

from __future__ import unicode_literals, print_function import plac import random import spacy from pathlib import Path from spacy.training import Example

2、導(dǎo)入訓(xùn)練樣本

TRAIN_DATA = [("房祖名 是 成龍 的 兒子", {'heads': [2, 4, 2, 2, 0],'deps': ['SON', '-', 'ROOT', '-', 'ATT']}),("張若昀 的 妻子 是 唐藝昕", {'heads': [0, 0, 4, 2, 0],'deps': ['ROOT', '-', 'ATT', '-', 'HUS']}),("陳凱歌 是 陳赫 的 舅舅", {'heads': [2, 4, 2, 2, 0],'deps': ['UNCLE', '-', 'ROOT', '-', 'ATT']}),("焦曼婷 是 焦恩俊 的 女兒", {'heads': [2, 4, 2, 2, 0],'deps': ['DAU', '-', 'ROOT', '-', 'ATT']}) ]

數(shù)據(jù)可以自己再添加，越多越好，其中heads為根據(jù)下標(biāo)的依存匹配（即從屬詞與支配詞的劃分）。

二、訓(xùn)練模型

1、模型參數(shù)的注解（語種、輸出目錄以及訓(xùn)練迭代次數(shù)）

@plac.annotations(lang=("ISO Code of language to use", "option", "l", str),output_dir=("Optional output directory", "option", "o", Path),n_iter=("Number of training iterations", "option", "n", int))

2、對現(xiàn)有的模型進行優(yōu)化

if model is not None:nlp = spacy.load(model) # 加載存在的模型 print("Loaded model '%s'" % model)else:nlp = spacy.blank('en') # 創(chuàng)建空白模型print("Created blank 'en' model")

3、創(chuàng)建內(nèi)置管道組件

使用 add_pipeline函數(shù)創(chuàng)建流水線

if 'parser' in nlp.pipe_names:nlp.remove_pipe('parser') parser = nlp.add_pipe('parser', first=True)

4、添加train data的標(biāo)簽

for text, annotations in TRAIN_DATA:for dep in annotations.get('deps', []):parser.add_label(dep)

5、構(gòu)建模型

訓(xùn)練過程本身很簡單，nlp.update()方法為我們抽象了所有內(nèi)容,由 spaCy 處理實際的機器學(xué)習(xí)和訓(xùn)練過程。

# 禁用流水線中所有其他組件，以便只訓(xùn)練/更新NER標(biāo)注器 other_pipes = [pipe for pipe in nlp.pipe_names if pipe != 'parser']with nlp.disable_pipes(*other_pipes): # 僅訓(xùn)練我們標(biāo)注的標(biāo)簽，假如沒有則會對所有的標(biāo)簽訓(xùn)練，for itn in range(n_iter):random.shuffle(TRAIN_DATA) # 訓(xùn)練數(shù)據(jù)每次迭代打亂順序losses = {} # 定義損失函數(shù)for batch in spacy.util.minibatch(TRAIN_DATA, size=2):for text, annotations in batch:#建立一個案例doc = nlp.make_doc(text)example = Example.from_dict(doc, annotations)nlp.update([example], losses=losses, drop=0.3)print(losses)

6、模型保存

test_model(nlp)if output_dir is not None:output_dir = Path(output_dir)if not output_dir.exists():output_dir.mkdir()nlp.to_disk(output_dir)print("Saved model to", output_dir)print("Loading from", output_dir)nlp2 = spacy.load(output_dir)test_model(nlp2)

三、模型測試

def test_model(nlp):texts = ["小紅 是 小綠 的 妻子","房祖名 和 成龍 的 關(guān)系 是 父子","張曉龍 和 張佳寧 的 舅舅"]docs = nlp.pipe(texts)for doc in docs:print(doc.text)print([(t.text, t.dep_, t.head.text) for t in doc if t.dep_ != '-'])if __name__ == '__main__':plac.call(main)

模型的效果如下

小紅 是 小綠 的 妻子 [('小紅', 'FAT', '小綠'), ('是', 'dep', '小紅'), ('小綠', 'ROOT', '小綠'), ('妻子', 'dep', '小綠')] 房祖名 和 成龍 的 關(guān)系 是 父子 [('房祖名', 'SON', '成龍'), ('和', 'dep', '房祖名'), ('成龍', 'ROOT', '成龍'), ('關(guān)系', 'ATT', '父子'), ('父子', 'dep', '成龍')] 張曉龍 和 張佳寧 的 舅舅 [('張曉龍', 'UNCLE', '張佳寧'), ('和', 'dep', '張曉龍'), ('張佳寧', 'ROOT', '張佳寧'), ('舅舅', 'dep', '張佳寧')]

可以看到效果還是可以的，只有第一條沒有匹配成功。

不足的地方

本文模型用的是英文模型，可以看到本文將中文句子事先用空格隔開，以到達成功訓(xùn)練，后續(xù)待改進。

參考

1、【法】巴格夫·斯里尼瓦薩-德西坎.《自然語言處理與計算語言學(xué)》.人民郵電出版社

2、https://zhuanlan.zhihu.com/p/51186364

3、https://blog.csdn.net/sinat_33741547/article/details/79258045

總結(jié)

以上是生活随笔為你收集整理的从头开始训练一个依存分析器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。