論文筆記整理：葉群，浙江大學(xué)計(jì)算機(jī)學(xué)院，知識圖譜、NLP方向。

---

會議：EMNLP 2019

鏈接：https://arxiv.org/abs/1909.04176

Abstract

這篇論文首次在多標(biāo)簽分類問題中提出了 meta-learning 的方法，學(xué)習(xí)weight policy 和 decision policy，分別指代訓(xùn)練時損失函數(shù)中不同標(biāo)簽的權(quán)重和預(yù)測時不同標(biāo)簽的閾值，從而更好地建模不同標(biāo)簽之間的依賴和復(fù)雜性。在實(shí)驗(yàn)表明在 entity typing 和 text classification 兩個任務(wù)中都取得了更好的實(shí)驗(yàn)結(jié)果。

Introduction

???? 傳統(tǒng)的多標(biāo)簽分類模型，在訓(xùn)練時采用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)，即每個類別的權(quán)重一致；在測試時，每個類別的閾值一般都取0.5。這種簡單的設(shè)定忽略了標(biāo)簽之間的依賴關(guān)系，忽略了不同標(biāo)簽的重要性。實(shí)際中很多標(biāo)簽之間存在著關(guān)系，比如/organization和/company, /urban和/economics。本文利用meta learning的方法學(xué)習(xí)weight policy和decision policy，分別指代訓(xùn)練時損失函數(shù)中不同標(biāo)簽的權(quán)重和預(yù)測時不同標(biāo)簽的閾值。實(shí)際上權(quán)重和閾值可以被看做兩個超參數(shù)，meta-learning學(xué)習(xí)到這兩個超參數(shù)之后，傳遞給下游模型進(jìn)行訓(xùn)練，所以本文的meta-learning方法是模型無關(guān)的。

Method

模型圖如圖1所示，基本結(jié)構(gòu)分為兩部分：meta-learner 和 classification model。Meta-learner的任務(wù)是學(xué)習(xí) weight policy 和 decision policy，即權(quán)重和閾值兩個超參；Classification model 根據(jù)學(xué)習(xí)到的兩個超參，訓(xùn)練一個 Batch，并進(jìn)行測試得到測試結(jié)果，并以測試結(jié)果作為 reward 去更新 meta-learner 和 classification model的參數(shù)。

圖1 模型結(jié)構(gòu)示意圖

Meta-learner

??? Meta-learner 的結(jié)構(gòu)采用了 GRU，采用了強(qiáng)化學(xué)習(xí)的方法去進(jìn)行weight policy和decision policy的學(xué)習(xí)。其中，強(qiáng)化學(xué)習(xí)的state是GRU的隱層表示：

Weight policy和decision policy的定義：

Reward的定義：

Classification Model

分類模型可以是任何形式的，只要損失函數(shù)是交叉熵形式即可，這里采用的損失函數(shù)為：

其中類別數(shù)為N，w為不同類別的權(quán)重。只訓(xùn)練一個Batch就進(jìn)行測試，這樣可以減輕訓(xùn)練的開銷。

Experiments

????? 實(shí)驗(yàn)在entity typing和text classification兩個任務(wù)上進(jìn)行了評測。在entity typing上選取的數(shù)據(jù)集為FIGER、OntoNotes、BBN，分類模型采用了entity typing中的SOTA模型，其結(jié)構(gòu)如下：

圖2 entity typing模型結(jié)構(gòu)示意圖

實(shí)驗(yàn)結(jié)果如表1所示，加入weight policy和decision policy，模型的結(jié)果可以有2~3個百分點(diǎn)的提升。

表1 entity typing實(shí)驗(yàn)結(jié)果

????? 由于本文中 meta-learning 的方法是基于強(qiáng)化學(xué)習(xí)的框架，而強(qiáng)化學(xué)習(xí)通常缺乏魯棒性和對初始化敏感。實(shí)驗(yàn)采用不同的初始化方法進(jìn)行多次實(shí)驗(yàn)，結(jié)果如表2所示。

表2 模型魯棒性實(shí)驗(yàn)

??? 文本分類任務(wù)模型選取了經(jīng)典的 text CNN 模型，數(shù)據(jù)集有 Reuters-21578、RCV1-V2，實(shí)驗(yàn)結(jié)果如表3所示。

表3 文本分類實(shí)驗(yàn)結(jié)果

????????? 模型的魯棒性分析如表4所示。

表4 模型魯棒性實(shí)驗(yàn)

?

Conclusion

?????? 本文在多標(biāo)簽分類任務(wù)中，利用 meta-learning 的方法學(xué)習(xí) weight policy和 decision policy，從而為不同標(biāo)簽學(xué)習(xí)到不同的權(quán)重和閾值，在entity typing 和文本分類兩個任務(wù)上效果有所提升。但是針對作者所說的，可以建模不同標(biāo)簽之間的 dependency，我覺得這一點(diǎn)上模型并沒有顯式地體現(xiàn)這一點(diǎn)。

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點(diǎn)擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 多标签分类中的元学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。