A New Approach for English-Chinese Named Entity Alignment（英漢實(shí)體對(duì)齊新方法）

• 0 Abstract
• 1 Introduction
• 2 相關(guān)工作
• 3 最大熵模型的NE對(duì)齊
• • 3.1 功能函數(shù)
  • • 3.1.1 翻譯得分
    • 3.1.2 音譯得分
    • 3.1.3 共現(xiàn)分?jǐn)?shù)
    • 3.1.4 變形分?jǐn)?shù)
  • 3.2 使用最大熵模型進(jìn)行bootstrapping訓(xùn)練
  • • 3.2.1 NE候選者選擇
    • 3.2.2 最大熵模型參數(shù)訓(xùn)練

0 Abstract

傳統(tǒng)的詞對(duì)齊方法不能為實(shí)體提供令人滿意的結(jié)果。在本文中，我們提出了一種使用最大熵模型進(jìn)行命名實(shí)體對(duì)齊的新方法。為了簡(jiǎn)化最大熵模型的訓(xùn)練，使用bootstrapping法來(lái)幫助監(jiān)督學(xué)習(xí)。與以往文獻(xiàn)報(bào)道的工作不同，我們的工作對(duì)中文進(jìn)行了無(wú)分詞的雙語(yǔ)命名實(shí)體對(duì)齊，其性能比有分詞的好得多。實(shí)驗(yàn)結(jié)果表明，與IBM模型和HMM對(duì)齊模型相比，我們的方法顯著優(yōu)于IBM模型4和HMM。

1 Introduction

本文討論了雙語(yǔ)語(yǔ)料庫(kù)的命名實(shí)體對(duì)齊問(wèn)題，即在目標(biāo)語(yǔ)言中建立每個(gè)源語(yǔ)言NE與其翻譯NE之間的對(duì)齊。研究表明，命名實(shí)體(NE)在人類語(yǔ)言中攜帶了必要的信息。對(duì)齊雙語(yǔ)命名實(shí)體是提取實(shí)體翻譯列表和翻譯模板的有效方法。例如，在下面的句子對(duì)中，對(duì)齊NE，[Zhi Chun road]和[知春路] 能夠正確生成翻譯模板。

• Can I get to [LN Zhi Chun road] by eight o’clock?
• 八點(diǎn)我能到 [LN 知春路]嗎?

此外，NE對(duì)齊對(duì)于統(tǒng)計(jì)機(jī)器翻譯（SMT）和跨語(yǔ)言信息檢索（CLIR）非常有用。

但是，命名實(shí)體對(duì)齊不容易獲得。它要求正確處理命名實(shí)體識(shí)別（NER）和對(duì)齊。NE可能無(wú)法很好地識(shí)別，或者在NER期間只能識(shí)別其中的一部分。在用不同語(yǔ)言對(duì)齊雙語(yǔ)NE時(shí)，我們需要處理多對(duì)多對(duì)齊。不同語(yǔ)言的NE翻譯和NER的不一致也是一個(gè)大問(wèn)題。具體而言，在中文NE處理中，由于中文不是標(biāo)記化語(yǔ)言，以前的工作通常進(jìn)行分詞并依次識(shí)別命名實(shí)體。這涉及到中文NE的幾個(gè)問(wèn)題，例如分詞錯(cuò)誤、中文NE邊界的識(shí)別以及中文NE的錯(cuò)誤標(biāo)記。例如，”國(guó)防部長(zhǎng)” 在中文里，它實(shí)際上是一個(gè)單位，不應(yīng)該被分割成[ON 國(guó)防部]/長(zhǎng)。分詞和NER產(chǎn)生的錯(cuò)誤將傳播到NE對(duì)齊。

本文提出了一種利用最大熵模型進(jìn)行英漢命名實(shí)體對(duì)齊的新方法。NER工具首先識(shí)別英語(yǔ)中的NE。然后，我們研究NE翻譯特征以識(shí)別中文中的NE，并確定最可能的對(duì)齊方式。為了簡(jiǎn)化最大熵模型的訓(xùn)練，使用 bootstrapping 技術(shù)來(lái)幫助監(jiān)督學(xué)習(xí)。

另一方面，為了避免分詞和NER的錯(cuò)誤傳播，我們直接提取中文NE，并在沒(méi)有分詞的情況下對(duì)純文本進(jìn)行對(duì)齊。這與文獻(xiàn)中以前報(bào)道的工作不同。雖然這使任務(wù)變得更加困難，但它大大減少了前面步驟引入錯(cuò)誤的機(jī)會(huì)，從而在任務(wù)中產(chǎn)生更好的性能。

為了證明我們的方法的合理性，我們采用了傳統(tǒng)的對(duì)齊方法，特別是IBM Model 4和HMM，以執(zhí)行NE對(duì)齊作為我們的基線系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，在這個(gè)任務(wù)中，我們的方法明顯優(yōu)于IBM Model 4和HMM。此外，不使用分詞的性能要比使用分詞的性能好得多。

本文的其余部分組織如下：在第2節(jié)中，我們討論了NE對(duì)齊的相關(guān)工作。第3節(jié)給出了NE校準(zhǔn)的總體框架和我們的最大熵模型。本節(jié)還介紹了功能部件功能和引導(dǎo)過(guò)程。我們?cè)诘?節(jié)展示了實(shí)驗(yàn)結(jié)果，并將其與基線系統(tǒng)進(jìn)行了比較。第5節(jié)總結(jié)了本文，并討論了正在進(jìn)行的未來(lái)工作。

2 相關(guān)工作

通過(guò)單詞和短語(yǔ)對(duì)齊可以獲得翻譯知識(shí)。迄今為止，在機(jī)器翻譯和知識(shí)獲取領(lǐng)域進(jìn)行了大量研究，包括統(tǒng)計(jì)方法和符號(hào)方法。

然而，這些方法不能很好地用于NE對(duì)齊任務(wù)。遵循IBM模型的傳統(tǒng)方法無(wú)法產(chǎn)生令人滿意的結(jié)果，因?yàn)樗鼈儽旧頍o(wú)法處理多對(duì)多對(duì)齊。他們只執(zhí)行單詞之間的對(duì)齊，不考慮復(fù)雜詞組的情況，比如一些多詞NE。另一方面，IBM模型允許源語(yǔ)言中最多有一個(gè)單詞對(duì)應(yīng)目標(biāo)語(yǔ)言中的一個(gè)單詞。因此，它們不能很好地處理NE中的多對(duì)多單詞對(duì)齊。另一種眾所周知的單詞對(duì)齊方法HMM使得對(duì)齊概率取決于前一個(gè)單詞的對(duì)齊位置。它也沒(méi)有明確地考慮多對(duì)多的對(duì)齊方式。

Huang等人提出了基于線性組合多特征代價(jià)最小化的命名實(shí)體跨語(yǔ)言等價(jià)性提取方法。但是，它們需要在源端和目標(biāo)端識(shí)別命名實(shí)體。Moore的方法基于一系列成本模型，然而，這種方法在很大程度上依賴于語(yǔ)言信息，例如兩側(cè)重復(fù)的字符串，以及來(lái)自大寫字母的線索，這些線索不適用于不具備同一屬性的語(yǔ)言對(duì)。此外，目標(biāo)端已經(jīng)確定了完整的詞匯復(fù)合詞，它們代表了最終結(jié)果的很大一部分。在對(duì)齊過(guò)程中，Moore沒(méi)有假設(shè)短語(yǔ)的翻譯需要在目標(biāo)集上拆分預(yù)定的詞匯復(fù)合詞。

這些方法不適合我們的任務(wù)，因?yàn)槲覀冎辉谠炊俗R(shí)別了NE，而目標(biāo)端沒(méi)有額外的知識(shí)。考慮到NE翻譯的固有特征，我們可以找到幾個(gè)有助于NE對(duì)齊的特征；因此，我們使用最大熵模型來(lái)整合這些特征并進(jìn)行NE對(duì)齊。

3 最大熵模型的NE對(duì)齊

在不依賴英文或中文的語(yǔ)法知識(shí)的情況下，我們發(fā)現(xiàn)有幾個(gè)有價(jià)值的特性可以用于命名實(shí)體對(duì)齊。考慮到最大熵模型在整合不同類型特征方面的優(yōu)勢(shì)，我們使用該框架來(lái)處理我們的問(wèn)題。

假設(shè)源英語(yǔ)NE $n{e}_e$，$n{e}_e=\{e_1,e_2,?,e_n\}$，包含 $n$ 個(gè)英文單詞，候選中文NE $n{e}_c$，$n{e}_c=\{c_1,c_2,?,c_n\}$ 由 $m$ 個(gè)漢字組成。假設(shè)我們有 $M$ 個(gè)特征函數(shù) $h_m(n{e}_e,n{e}_c),m=1,?,M$，對(duì)于每個(gè)特征函數(shù)，我們有一個(gè)模型參數(shù) ${\lambda }_m,m=1,?,M$，對(duì)齊概率定義如下:

選擇英文NE中最可能對(duì)齊的目標(biāo)NE的決策規(guī)則為:

在我們的方法中，考慮到NE翻譯的特點(diǎn)，我們采用4個(gè)特征：翻譯得分、音譯分?jǐn)?shù)、源NE和目標(biāo)NE的共現(xiàn)分?jǐn)?shù)、區(qū)分同一句子中相同NE的失真分?jǐn)?shù)。接下來(lái)，我們將詳細(xì)討論這四個(gè)特性。

3.1 功能函數(shù)

3.1.1 翻譯得分

考慮英語(yǔ)NE中單詞與漢語(yǔ)NE中字符之間的翻譯概率是很重要的。在處理無(wú)分割的漢語(yǔ)句子時(shí)，這里的詞是指單個(gè)漢字。

此處的翻譯分?jǐn)?shù)用于表示基于翻譯概率的實(shí)體對(duì)的接近程度。假設(shè)源英語(yǔ)NE $n{e}_e$ 由 $n$ 個(gè)英語(yǔ)單詞組成：$n{e}_e=\{e_1,e_2,?,e_n\}$，候選中文NE $n{e}_c$，$n{e}_c=\{c_1,c_2,?,c_n\}$ 由 $m$個(gè)漢字組成，我們可以根據(jù) $e_i$ 和 $c_j$ 之間的翻譯概率得到這兩個(gè)雙語(yǔ)NE的翻譯分?jǐn)?shù)：

給定一個(gè)在句子層面對(duì)齊的平行語(yǔ)料庫(kù)，我們可以獲得每個(gè)英語(yǔ)單詞和每個(gè)漢字之間的翻譯概率 $p(c_j|e_i)$（通過(guò)與IBM Model 1的單詞對(duì)齊）。在沒(méi)有分詞的情況下，我們必須計(jì)算每個(gè)可能的候選詞來(lái)確定最可能的對(duì)齊，這將使搜索空間非常大。因此，我們對(duì)整個(gè)搜索空間進(jìn)行修剪。如果在兩個(gè)相鄰字符之間有一個(gè)分?jǐn)?shù)跳變，候選字符將被丟棄。通過(guò)該公式計(jì)算候選中文NE與源英文NE之間的分?jǐn)?shù)，作為該特征的值。

3.1.2 音譯得分

雖然在理論上，翻譯分?jǐn)?shù)可以在正確的NE對(duì)齊中建立關(guān)系，但在實(shí)踐中并非總是如此，這是由于語(yǔ)料庫(kù)的特點(diǎn)。當(dāng)我們有稀疏的數(shù)據(jù)時(shí)，這一點(diǎn)更加明顯。例如，“命名實(shí)體”中的大多數(shù)人名在語(yǔ)料庫(kù)中分布很稀疏，沒(méi)有規(guī)律地重復(fù)。除此之外，一些英文NE也通過(guò)音譯翻譯而不是語(yǔ)義翻譯。因此，建立音譯模型是非常重要的。

給定一個(gè)英文實(shí)體 $e$，$e=\{e_1,e_2,?,e_n\}$，將 $e$ 音譯為中文命名實(shí)體 $c$ ，$c=\{c_1,c_2,?,c_n\}$ 的過(guò)程，可以用式(3.4)來(lái)描述(為便于表示，這里用 $e$ 和 $c$ 代替 $n{e}_e$ 和 $n{e}_c$ 來(lái)表示英文NE和中文NE)。

根據(jù)貝葉斯規(guī)則，可將其轉(zhuǎn)換為:

由于有超過(guò)6k個(gè)常用漢字，我們需要一個(gè)非常大的訓(xùn)練語(yǔ)料庫(kù)來(lái)直接建立英語(yǔ)單詞和漢字之間的映射。我們采用了古羅馬化系統(tǒng)，漢語(yǔ)拼音，以便于轉(zhuǎn)換。每個(gè)漢字對(duì)應(yīng)一個(gè)漢語(yǔ)拼音字符串。從漢字到拼音字符串的概率為 $P(r|c)\approx 1$，除了多音字。因此，我們：

我們的問(wèn)題是：給定英文NE和候選中文NE，找到最可能的對(duì)齊，而不是找到最可能的英文NE的中文翻譯。因此，與以前的英漢音譯模型工作不同，我們將每個(gè)候選的中文NE轉(zhuǎn)換為漢語(yǔ)拼音串，并直接訓(xùn)練一個(gè)基于拼音的語(yǔ)言模型，該語(yǔ)言模型包含由1258個(gè)名字對(duì)組成的獨(dú)立英漢名單，從英文NE中解碼出最可能的拼音串。

為了從英文NE中找到最可能的拼音串，我們將公式(3.5)改寫如下:

其中r表示羅馬拼音(拼音字符串)，$r=\{r_1,r_2,?,r_m\}$。對(duì)于每一個(gè)因子，有：

其中 $e_i$ 是一個(gè)英語(yǔ)音節(jié)，$r_i$ 是一個(gè)漢語(yǔ)拼音子串。

例如，我們有英文NE “Richard” 和其候選中文NE ”理查德” 。由于通道模型和語(yǔ)言模型都是基于拼音的，維特比解碼的結(jié)果是從“Ri char d”到“Li Cha De”。我們將“理查德” 轉(zhuǎn)換為拼音串“Li Cha De”。然后，我們基于拼音字符串而不是直接與漢字進(jìn)行相似度比較。這是因?yàn)樵趯⒂⒄Z(yǔ)NE音譯為漢語(yǔ)時(shí)，可以非常靈活地選擇哪個(gè)字符來(lái)模擬發(fā)音，但拼音字符串相對(duì)固定。

對(duì)于每個(gè)英語(yǔ)單詞，有幾種方法可以將其劃分為音節(jié)，因此本文采用動(dòng)態(tài)規(guī)劃算法將英語(yǔ)單詞解碼為漢語(yǔ)拼音序列。基于英文NE的音譯字符串和原始候選中文NE的拼音字符串，我們可以計(jì)算它們與XDice系數(shù)的相似性。這是Dice系數(shù)的一個(gè)變體，它允許“擴(kuò)展的二元圖”。擴(kuò)展雙字元（xbig）是在原有雙字元的基礎(chǔ)上，從單詞的任何三個(gè)字母子串中刪除中間字母而形成的。

假設(shè)英語(yǔ)NE的音譯字符串和候選漢語(yǔ)NE的拼音字符串分別為 $e_{tl}$ 和 $c_{py}$。XDice系數(shù)通過(guò)以下公式計(jì)算：

另一點(diǎn)需要注意的是，外國(guó)人名和中國(guó)人名有不同的翻譯策略。上述音譯框架僅適用于外國(guó)名稱。對(duì)于中文人名翻譯，表面的英文字符串就是中文人名的拼音字符串。為了處理這兩種情況，請(qǐng)確保表示表層英語(yǔ)字符串，通過(guò)取兩個(gè)XDice系數(shù)的最大值來(lái)定義最終的音譯分?jǐn)?shù)：

此公式不區(qū)分外國(guó)人姓名和中國(guó)人姓名，外國(guó)人姓名的音譯字符串或中國(guó)人姓名的拼音字符串可以適當(dāng)處理。此外，由于英文字符串和拼音字符串共享同一個(gè)字符集，如果音譯解碼失敗，我們的方法也可以作為替代方法。

例如，對(duì)于英文名稱“Cuba”，與中文NE的對(duì)齊應(yīng)為“古巴”。如果音譯解碼失敗，其拼音串“Guba”仍然通過(guò)XDice系數(shù)與表面串“Cuba”有很強(qiáng)的關(guān)系。這可以使系統(tǒng)更強(qiáng)大。

3.1.3 共現(xiàn)分?jǐn)?shù)

另一種方法是在整個(gè)語(yǔ)料庫(kù)中找到源和目標(biāo)NE的共現(xiàn)。如果兩個(gè)NE經(jīng)常同時(shí)出現(xiàn)，那么它們很有可能相互對(duì)齊。從整個(gè)語(yǔ)料庫(kù)中獲取的知識(shí)對(duì)于NE對(duì)齊來(lái)說(shuō)是一個(gè)額外且有價(jià)值的特征。我們使用以下公式計(jì)算源英語(yǔ)NE和候選漢語(yǔ)NE的共現(xiàn)分?jǐn)?shù)：

式中，$count(n{e}_c,n{e}_e)$ 是 $n{e}_c$ 和 $n{e}_e$ 同時(shí)出現(xiàn)的次數(shù)，$count(?,n{e}_e)$，是 $n{e}_e$ 出現(xiàn)的次數(shù)。這一概率是一個(gè)很好的指示，用于確定是否對(duì)齊。

3.1.4 變形分?jǐn)?shù)

當(dāng)跨語(yǔ)言翻譯NE時(shí)，我們注意到它們位置的差異也是確定它們關(guān)系的一個(gè)很好的指示，當(dāng)目標(biāo)語(yǔ)言中有相同的候選者時(shí)，這是必須的。差異越大，它們相互翻譯的可能性就越小。因此，我們將源英語(yǔ)NE和候選漢語(yǔ)NE之間的變形分?jǐn)?shù)定義為另一個(gè)特征。

假設(shè)英語(yǔ)NE的起始位置的索引為 $i$，英語(yǔ)句子的長(zhǎng)度為 $m$。然后我們得到了源英語(yǔ)NE 的相對(duì)位置 $po{s}_e=\frac{i}{m}$ ，以及候選中文NE的相對(duì)位置 $po{s}_c$，$0\le po{s}_c,po{s}_c\le 1$。變形分?jǐn)?shù)由以下公式定義：

式中，$ABS$ 表示絕對(duì)值。如果目標(biāo)語(yǔ)言中的不同位置有多個(gè)相同的候選中文NE，則變形分?jǐn)?shù)最大的將獲勝。

3.2 使用最大熵模型進(jìn)行bootstrapping訓(xùn)練

為了將最大熵模型應(yīng)用于NE對(duì)齊，我們分兩步進(jìn)行：選擇NE候選對(duì)象和訓(xùn)練最大熵模型參數(shù)。

3.2.1 NE候選者選擇

為了與我們的最大熵模型保持一致，我們首先使用NLPWIN識(shí)別英語(yǔ)中的命名實(shí)體。對(duì)于識(shí)別出的NE中的每個(gè)單詞，我們通過(guò)從IBM Model 1獲取的翻譯表找到所有可能的中文翻譯字符。最后，我們將所有選擇的字符作為“種子”數(shù)據(jù)。由于每個(gè)種子都有一個(gè)開放的窗口，因此窗口內(nèi)的所有可能序列都被視為NE比對(duì)的可能候選序列。它們的長(zhǎng)度范圍從1到根據(jù)經(jīng)驗(yàn)確定的窗口長(zhǎng)度。在候選選擇過(guò)程中，采用上述剪枝策略來(lái)減少搜索空間。

例如，在圖1中，如果“China”的翻譯概率僅超過(guò)閾值，則為“中”, 這兩個(gè)種子數(shù)據(jù)位于索引為0和4的位置。假設(shè)窗口長(zhǎng)度為3，則種子數(shù)據(jù)周圍的所有長(zhǎng)度范圍為1到3的候選項(xiàng)，包括“中國(guó)”，將被選擇為候選項(xiàng)。

3.2.2 最大熵模型參數(shù)訓(xùn)練

利用第3.1節(jié)中定義的四個(gè)特征函數(shù)，我們計(jì)算了所有選定的中文NE候選者的特征分?jǐn)?shù)。

為了獲得最可能對(duì)齊的漢語(yǔ)NE，我們使用已發(fā)布的包YASMET對(duì)所有NE候選進(jìn)行參數(shù)訓(xùn)練和重新排序。YASMET需要監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練最大熵模型。然而，獲得一個(gè)大的帶注釋的訓(xùn)練集并不容易。在這里，bootstrapping 用于幫助該過(guò)程。圖2給出了參數(shù)訓(xùn)練的整個(gè)過(guò)程。

將系數(shù) ${\lambda }_i$ 設(shè)置為均勻分布；

計(jì)算所有特征得分，得到漢語(yǔ)NE候選的N-best列表；

認(rèn)為得分超過(guò)給定閾值的候選詞是正確的，并將其放入重新排序的訓(xùn)練集中；

使用YASMET重新訓(xùn)練參數(shù) ${\lambda }_i$；

重復(fù)步驟2，直到 ${\lambda }_i$ 收斂，并將當(dāng)前排名作為最終結(jié)果。

總結(jié)

以上是生活随笔為你收集整理的A New Approach for English-Chinese Named Entity Alignment（跨语言实体对齐）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。