?PaperWeekly 原創(chuàng) ·?作者｜龔俊民

學(xué)校｜新南威爾士大學(xué)碩士生

研究方向｜NLP、可解釋學(xué)習(xí)

論文標(biāo)題：Hierarchical Entity Typing via Multi-level Learning to Rank

論文來源：ACL 2020

論文鏈接：https://arxiv.org/abs/2004.02286

引言

細(xì)粒度實體標(biāo)注 Fine-graind Entity Typing（FET）任務(wù)是給定一個候選實體 (Mention) 和其上下文 (Context)，求這個涉及的可能類別集合 (Type), 。它與實體命名識別 Named Entity Recognition (NER) 任務(wù)有幾個顯著不同在：

• 在引入統(tǒng)一閱讀理解 MRC 框架之前，NER 通常是序列標(biāo)注任務(wù)。它需要模型從一段文本序列中找出實體的邊界和實體的類型，以及非實體的邊界。序列標(biāo)注任務(wù)搜索空間很大，限制了實體的類別數(shù)量通常不會很多。

• FET 做的是有層級的多標(biāo)簽分類任務(wù)。它的實體邊界通常是已經(jīng)給好了，需要從遠程監(jiān)督的候選標(biāo)簽中找出正確的、符合上下文語境的實體類型集合。它不關(guān)心給定上下文是否包含了別的實體。FET 類別有上下層級。比如位置這個一級類別下有行政區(qū)、建筑類等等，行政區(qū)二級類別下又可以分國家、省份和城市等等。子類別確定了父類別，而父類別又限定了其可能候選的子類別。

過去鮮有研究針對這種類別間的層次樹形結(jié)構(gòu)進行建模。他們處理該問題的常用做法是將所有不同層級的類別展平成同一級別，而忽略了樹形結(jié)構(gòu)中的子類型有效時其父類型也一定有效的特點。

直覺上看，類別數(shù)量更少的粗粒度分類比類別更多的細(xì)粒度分類更容易。這種展平的分類方式會增大模型要預(yù)測的類別數(shù)量。還需要依賴額外的技術(shù)手段來解決類別間不獨立問題，比如 AFET [1]，CLSC [2]。

本論文提出了一種層次化的排序?qū)W習(xí)框架來解決此類問題。排序模型會針對不同層級，制定不同的邊際標(biāo)準(zhǔn)去進行分類。解碼器會從粗粒度到細(xì)粒度去搜索類型的層級結(jié)構(gòu)，以保證不違反層次結(jié)構(gòu)的特性。結(jié)果在 BBN、OntoNotes 以及 FIGER 數(shù)據(jù)集上達到了 SOTA 水平。

相關(guān)工作

FET 過往研究主要專注在以下兩個方面：

1. 更好的 mention 表征：從最開始的人工二元特征 [3,4]，到分布式表征 [5]，再到預(yù)訓(xùn)練好的詞向量，如 LSTMs [1], CNN [6]，和 Attention [7]，到后來的預(yù)訓(xùn)練語言模型，如 ELMo [8,9] 。本論文用的是 ELMo 的表征方法。

2. 層級標(biāo)簽處理：此前大部分研究都是把標(biāo)注問題看成是沒有用層級結(jié)構(gòu)的多標(biāo)簽分類問題，但有部分研究除外。

AFET [1] 提出了一種適應(yīng)性的排序?qū)W習(xí)方法 來讓相似的類別具有更小的 margins。NFETC [10] 提出了一種層級損失來給違背層級結(jié)構(gòu)的輸出懲罰。[11] 提出了用下級標(biāo)簽的關(guān)系來約束標(biāo)簽特征空間的嵌入。HYENA [12] 提出了在類型層級中為某父類別下的子類別排序方法，但它不支持神經(jīng)網(wǎng)絡(luò)端對端訓(xùn)練。本論文的從粗到細(xì)的端到端的解碼方式能嚴(yán)格地保證輸出不違背層級特性，從而得到了更好的表現(xiàn)。

針對細(xì)粒度實體標(biāo)注任務(wù)，研究者們提出了幾種不同的規(guī)范化描述方式。比如，類別并非層級構(gòu)建的 Ultra-fine Entity Typing?[13]，類別標(biāo)簽是從海量語料中抽取出的短語。也有基于知識圖譜中的實體關(guān)系構(gòu)建類別標(biāo)簽體系的 [14]，和用實體鏈接來增強的 [15]。

問題規(guī)范化

mention 用一個三元組 表示。其中， 為一個由詞組成的上下文句子序列，span 為指定 mention 在句子中的實體邊界，其內(nèi)容為 。給定一個 ，層級類型標(biāo)注模型要輸出一個類型集合 Y。這個類型集合歸屬于整個類別體系 。

層級類型以一個森林的形式表示。每棵樹以一級類別為根，比如 /person, /location 等等。我們用 “/” 作為第零級類型 “entity”的表示，作為所有的一級類別的根，方便把森林連成一棵樹。

▲ 不同數(shù)據(jù)集下的層級類型樹，L1，L3 分別表示第一級類別和第三級類別

我們用二元關(guān)系 表示類型 是類型 的一個子類。 的唯一父節(jié)點被表示為 。類別 的所有子類別集合有 ，與其共享同一個父節(jié)點的姊妹類別有 and 。

我們把候選實體只能被分類為一種細(xì)粒度類別的情景稱作單路徑標(biāo)注。這是因為從根節(jié)點到葉節(jié)點只有一條路徑可走，比如 AIDA 數(shù)據(jù)集。我們把能被分類為多種類別的情景稱作多路徑標(biāo)注，因為從根節(jié)點到多個葉節(jié)點有多條路徑，比如 BBN 數(shù)據(jù)集。

在 FIGER 中，存在一級類別作為葉節(jié)點沒有往下繼續(xù)分的情況。但在 AIDA 數(shù)據(jù)集，又存在對該一級類別下使用特殊葉節(jié)點處理的情況，比如 /per/police/<unspecified>。這種類型路徑存在兩種可能解釋：

• Exclusive 互斥的：? 屬于類別 ，但 不是 的任何現(xiàn)有子類別 中的一個。比如

• Underfined 為定義的： 屬于類別 ，但它是不是 的某個子類是未知的。

針對以上兩種不同的情景，我們要采取不同的策略。對于互斥的情景，我們?yōu)樗蓄悇e增加了一個 other 類別來補充可能存在 不是 中任何現(xiàn)有子類標(biāo)簽的情況。

比如“愛德華大夫”是醫(yī)生人名，在原數(shù)據(jù)集中被標(biāo)注為 /person，這是因為人名下面只有運動員、政客、娛樂明星等子類。這里“愛德華大夫”標(biāo)簽會被修改成? /person/other。對于未定義的情景，我們則不修改該樣本在數(shù)據(jù)集中的標(biāo)簽。這樣分開處理對結(jié)果會有顯著影響。

模型

4.1 Mention Representation

▲ 論文 [9] 中的模型架構(gòu)和表征方法

Mention 的表示用的是論文 [9] 中的 ELMo 編碼方法。過往研究的做法是直接把 mention 的詞向量相加取平均，而忽略了 mention 中不同詞對整個標(biāo)注結(jié)果存在不同的影響權(quán)重。

比方說上圖中 “Department of Chemistry” 為其標(biāo)注為組織機構(gòu)類別，起作用的詞是 “Department”。我們希望模型針對這類有信息的詞做更多的側(cè)重。因此 mention 的表征應(yīng)該是用不同詞嵌入基于注意力權(quán)重的加權(quán)平均。

本論文會先把序列通過 ELMo，獲得每個詞的動態(tài)詞向量 。再把作為 mention 的部分取出來，乘上一個權(quán)重后做最大池化得到 。

接著，我們再拿這個 作為 Query，對 Context 做乘法注意力，得到每個詞的注意力權(quán)重，再用它與原上下文的動態(tài)詞向量 做加權(quán)求和得到上下文表征 c。最后我們把 與 接在一起得到 ，丟給下游分類器解碼。

注明：這里傾向于用 ELMo 而不是 BERT 的原因在用 ELMo 表現(xiàn)更好。ELMo 用到了豐富的字符級嵌入信息。這種低層嵌入對 FET 任務(wù)很有用。如果是涉及高級語義特征的任務(wù)，比如機器閱讀理解任務(wù)，BERT 會更合適。

4.2 Type Scorer

一個樣本被編碼成 后會被喂給一個兩層的帶 tahn 非線性單元的前饋網(wǎng)絡(luò)，來把 mention-context 嵌入映射到與類型嵌入一致的特征空間，再與類型嵌入做點乘就可以得到與每種類型的相似度。

4.3 Hierarchical Learning-to-Rank

我們引入一個自創(chuàng)的允許多標(biāo)簽多層級分類的排序?qū)W習(xí)損失。首先，我們計算每個類別的 hinge loss 來把正例類別排在負(fù)例類別前面。

這實際上是 ranking SVM 的損失。模型會學(xué)到正類樣本 的得分要比負(fù)類樣本 的得分高一個 。通常這個 會被設(shè)為 (類型嵌入可以線性尺度縮放)，我們用 L2 正則來約束類型嵌入。

但這種方法考慮的是平展開的所有類別，而不是層次化的類別結(jié)構(gòu)——所有類別被給予相同的對待而沒有利用它們在類型樹中的層次關(guān)系。直覺上看，粗粒度類別（更上級的類別）會比細(xì)粒度類別（更下級的類別）更容易確認(rèn)。

比如，把一個實體分類為 /person 還是 /location 比把這個實體分類成 /artist 還是 /athlete 更容易。我們把這一直覺放在 L2R 框架中，便是模型每次只對同級粒度的實體類型進行排序。通過設(shè)置不同的 margins 參數(shù)來處理不同的粗細(xì)粒度級別。

其中， 指的是類別 的層級。比方說，lev (/location) = 1，以及 lev (/person/artist/singer) = 3。其中，正例類型 只會與其姊妹類別 比較。而設(shè)置邊際的超參數(shù) 取決于類別 所在的層級。顯而易見，。

類似于原版， 可以默認(rèn)設(shè)置為 ，我們用其相對比例來進行比較。為簡化，論文做了超參數(shù)搜索實驗，最終經(jīng)驗得出，按如下公式設(shè)置最為合適。其中 為類別體系的總層級數(shù)， 為當(dāng)前類別的層級序數(shù)。比如體系有三個級別，那么每一層的邊際大小就可以分別設(shè)置為 。

我們要如何設(shè)置正例類別相對于實體表征的相關(guān)性大于負(fù)例樣本的閾值呢？我們可以像論文 [9] 那樣，把閾值設(shè)置為 0 便可。這樣多標(biāo)簽分類問題就成了一系列二分類問題。

或者，我們像論文 [16] 中那樣，調(diào)出一個能根據(jù)不同類型調(diào)整適應(yīng)的動態(tài)閾值。這里我們提出一個簡單的解決方案。

我們設(shè)定，排序器要學(xué)會“正例子類別的得分要大于它的父類別的得分，它的父類別得分又要大于它的負(fù)例姊妹類別的得分”。基于這個公式，解碼的時候，給定一個父類別 ，若其子類別 的得分高于父類別 的得分，則輸出正例。

為此我們可以把 margin 拆分為兩項： 和 。前者為正例類別和其父類別的間距，后者為其父類別和其姊妹負(fù)例類別的間距。

可以被用來調(diào)整精度和召回的權(quán)衡。越小的 正例類別和其父節(jié)點類別的間距也就越小，就越容易提升精度而降低召回。反之，增加 ，則精度降低，召回增加。這一過程可以被可視化為下圖。

最終，我們考慮了三種順序的層級排序損失函數(shù)為：

4.4 Decode

解碼的算法如下。我們已知模型預(yù)測的 mention 與 每種類別的相似度，以及預(yù)先設(shè)定好的類型樹，求滿足 ， 排序順序的候選路徑。首先我們把根類別 “ENTITY”?放入候選實體類型的隊列中。循環(huán)里，每次出隊一個父類型 ，用 Type Scorer 計算其相關(guān)性得分 。

再把該類型下所有子類別輸入給 Type Scorer 得到每個子類型的相關(guān)性，并篩選出相關(guān)性大于其父類型的子類型。把這些類型加入候選輸出集合后，再入隊，直到隊列為空跳出循環(huán)。

4.5 Subtyping Relation Constraint

論文 [17] 用 ComplEx 方法來構(gòu)建關(guān)系嵌入，針對子類別中的 anti-symmetric and transitive 的關(guān)系有很好的表現(xiàn)。ComplEx 通過加入正則損失來約束類型嵌入。它操作在復(fù)數(shù)空間。論文通過實空間和復(fù)空間的自然同構(gòu)將類型嵌入映射到復(fù)雜空間（前半部分為實數(shù)，后半部分為虛數(shù)）。

我們?yōu)樽宇愱P(guān)系學(xué)習(xí)單類型嵌入。給定類型 和 ，關(guān)系 可以用如下評分函數(shù)建模：

其中， 為元素相乘， 為其復(fù)數(shù)共軛。若存在 ，則 。給定一個實例 (x, Y)，對每個正例類型 ，都有以下三種關(guān)系：

分別對應(yīng)，一個子類為正例，其父類也一定為正例（父子關(guān)系），這個正例的父類不會是它任意的兄弟姊妹（姊妹關(guān)系），這個正例的父類也不會是它任意的叔伯姑姨（叔伯關(guān)系）。這些關(guān)系剛好可以轉(zhuǎn)換為二分類的 SVM 的原始形式，于是這部分的損失有：

與論文 [11] 的二元交叉熵?fù)p失不同，這個 hinge loss 在實際實驗中表現(xiàn)要更好，原因在我們用姊妹關(guān)系和叔伯關(guān)系來作為負(fù)例樣本。這些負(fù)例類別會與其父類非常接近。因此訓(xùn)練時，模型能利用更具競爭力的負(fù)例樣本來加強學(xué)習(xí)。

4.6 Training and Validation

最終的損失為如下式子。訓(xùn)練時用的優(yōu)化器為 2019 年熱度很高的 AdamW。超參數(shù)包括了， 和 。用來調(diào)節(jié)邊距閾值比例，用來調(diào)節(jié)關(guān)系約束正則項的比例，作為正則項用來約束模型參數(shù)大小，防止過擬合。最終結(jié)果為超參數(shù)搜索后的最佳結(jié)果。

Experiments

5.1 Datasets

5.2 Setup

論文使用了 ELMo 三層的全部輸出，。類型嵌入 ，初始學(xué)習(xí)率為 ，Batch Size 為 256。最終模型選擇為超參數(shù)搜索到基于驗證集上 F1 score 表現(xiàn)最好的組合。

5.3 Baselines

對于 AIDA 數(shù)據(jù)集而言，過往研究沒用過，沒法比。論文只比了 BBN，OntoNotes，以及 FIGER 上近幾年來的 SOTA 結(jié)果。

5.4 Metrics

• strict accuracy (Acc)： 全部標(biāo)簽分類正確樣本占所有樣本比。

• macro (MaF)： 計算每個類別的準(zhǔn)召，得到各自，再求平均。

• micro (MiF)： 不區(qū)分類別，直接用總樣本的準(zhǔn)召計算 。

5.5 Results and Discussions

所有結(jié)果都基于互斥的和未定義的分開來比較。對于 AIDA 中有 187 個類別，但訓(xùn)練/驗證集中只覆蓋了 93 個類別，測試集中有 85 個類別，其中有 23 種類別是訓(xùn)練集、驗證集中沒見過的。

我們可以用零樣本實體標(biāo)注去處理這類問題。做法是用類型的名字和其描述去初始化類型嵌入。這類問題可以放在以后解決。

在 BBN，OntoNotes，和 FIGER 數(shù)據(jù)集上都顯著好于去年的 SOTA。以上下浮動 0.5 個百分點為基準(zhǔn)。實驗表明，部分路徑標(biāo)簽問題，用未定義的方式處理在 BBN 和 OntoNotes 數(shù)據(jù)集上都顯著好于用互斥的方式去處理。

這個問題來源于數(shù)據(jù)標(biāo)注階段，取決于標(biāo)注員如何理解互斥和未定義這兩種類別。未來也是一個值得探究的方向。

消融實驗表明，加入層次化的排序?qū)W習(xí)或類型關(guān)系約束在不同數(shù)據(jù)集上都有不同程度的提升。其中，層次化排序?qū)W習(xí)的加入帶來的提升更顯著。

錯誤分析集中在三個方面：

1. 對某些類型混淆。比如 /gpe/city 與 /location/region 混淆。這類錯誤是類型本身相似導(dǎo)致的，一般是可以容忍的。

2. 未完整的類型。比如 “Immigration and Customs Enforcement” 只標(biāo) /government agency ，卻漏掉了標(biāo) /organization。這個跟數(shù)據(jù)集的分類體系構(gòu)建有關(guān)。可以在類別體系構(gòu)建上優(yōu)化。

3. 只專注于部分 mention。“... suggested they were the work of Russian special forces assassins out to blacken the image of Kievs pro-Western authorities” 實例中，模型基于 “Russian special forces” 輸出了 /org/government，但正確的標(biāo)簽是 /per/militarypersonnel，模型忽略了 “assassins” 這部分。這個問題與 mention 表征有關(guān)。日后引入 type-aware 類型表征或許能解決這類問題。

作者有話說

好的 idea 的產(chǎn)生來自于看待問題的角度。從新的視角將模型要學(xué)的任務(wù)規(guī)范化、簡化，往往能得到新奇的效果。但思考如何實現(xiàn)它卻是一個工程活。序列標(biāo)注問題本質(zhì)是一個結(jié)構(gòu)化學(xué)習(xí)。

其難點在，它要為序列解碼，搜索空間很大。為一個東西分十幾個類別的任務(wù)肯定要比為一個序列的每個位置去分十幾個類別要簡單。感覺引入機器閱讀理解框架的那篇 NER 論文 [19]，實際也是用類似的方式把問題簡化了。

序列標(biāo)注改成了只需要在上下文中預(yù)測指定類型的實體邊界 span，BERT 句嵌入接兩個 MLP 分別預(yù)測開頭和結(jié)尾，就能有很好的效果。更有趣的是，機器閱讀理解中的很多奇技淫巧也可以用上。

參考文獻

[1] Ren, X., He, W., Qu, M., Huang, L., Ji, H., & Han, J. (2016, November). AFET: Automatic Fine-Grained Entity Typing by Hierarchical Partial-Label Embedding. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing (pp. 1369-1378).
[2] Chen, B., Gu, X., Hu, Y., Tang, S., Hu, G., Zhuang, Y., & Ren, X. (2019). Improving distantly-supervised entity typing with compact latent space clustering. arXiv preprint arXiv:1904.06475.
[3] Xiao Ling and Daniel S. Weld. 2012. Fine-grained entity recognition. In Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence, July 22-26, 2012, Toronto, Ontario, Canada., pages 94–100.

[4] Dan Gillick, Nevena Lazic, Kuzman Ganchev, Jesse Kirchner, and David Huynh. 2014. Context-dependent fine-grained entity type tagging. CoRR, abs/1412.1820.

[5] Dani Yogatama, Daniel Gillick, and Nevena Lazic. 2015. Embedding methods for fine grained entity type classification. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, ACL 2015, July 26-31, 2015, Beijing, China, Volume 2: Short Papers, pages 291–296.

[6] Shikhar Murty, Patrick Verga, Luke Vilnis, Irena Radovanovic, and Andrew McCallum. 2018. Hierarchical losses and new resources for fine-grained entity typing and linking. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 1: Long Papers, pages 97–109.

[7] Sheng Zhang, Kevin Duh, and Benjamin Van Durme. 2018. Fine-grained entity typing through increased discourse context and adaptive classification thresholds. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, *SEM@NAACL-HLT 2018, New Orleans, Louisiana, USA, June 5-6, 2018, pages 173–179.

[8] Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, and Luke Zettlemoyer. 2018. Deep contextualized word representations. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers), pages 2227–2237.

[9] Ying Lin and Heng Ji. 2019. An attentive fine-grained entity typing model with latent type representation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 61986203, Hong Kong, China. Association for Computational Linguistics.

[10] Peng Xu and Denilson Barbosa. 2018. Neural fine-grained entity type classification with hierarchy-aware loss. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (Long Papers), pages 16–25.

[11] Murty, S., Verga, P., Vilnis, L., Radovanovic, I., & McCallum, A. (2018, July). Hierarchical losses and new resources for fine-grained entity typing and linking. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 97-109).

[12] Mohamed Amir Yosef, Sandro Bauer, Johannes Hoffart, Marc Spaniol, and Gerhard Weikum. 2012. HYENA: hierarchical type classification for entity names. In COLING 2012, 24th International Conference on Computational Linguistics, Proceedings of the Conference: Posters, 8-15 December 2012, Mumbai, India, pages 1361–1370.

[13] Choi, E., Levy, O., Choi, Y., & Zettlemoyer, L. (2018). Ultra-fine entity typing. arXiv preprint arXiv:1807.04905.

[14] Hailong Jin, Lei Hou, Juanzi Li, and Tiansi Dong. 2019. Fine-grained entity typing via hierarchical multi graph convolutional networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 4968–4977, Hong Kong, China. Association for Computational Linguistics.

[15] Hongliang Dai, Donghong Du, Xin Li, and Yangqiu Song. 2019. Improving fine-grained entity typing with entity linking. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages6209–6214, HongKong, China.Association for Computational Linguistics.

[16] Sheng Zhang, Kevin Duh, and Benjamin Van Durme. 2018. Fine-grained entity typing through increased discourse context and adaptive classification thresholds. In Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics, *SEM@NAACL-HLT 2018, New Orleans, Louisiana, USA, June 5-6, 2018, pages 173–179.

[17] ThéoTrouillon, JohannesWelbl, SebastianRiedel, ′ Eric Gaussier, and Guillaume Bouchard. 2016. Complex embeddings for simple link prediction. In Proceedings of the 33nd International Conference on Machine Learning, ICML 2016, New York City, NY, USA, June 19-24, 2016, pages 2071–2080.

[18] Ilya Loshchilov and Frank Hutter. 2019. Decoupled weight decay regularization. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019.

[19] Li, X., Feng, J., Meng, Y., Han, Q., Wu, F., & Li, J. (2019). A Unified MRC Framework for Named Entity Recognition. arXiv preprint arXiv:1910.11476.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的ACL 2020 | 基于多级排序学习的层次化实体标注的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。