點擊藍字

關注我們

AI TIME歡迎每一位AI愛好者的加入！

在偏多標記學習中，每一個示例與一個候選標記集相關，該候選集既包含多個真實標記，也包含其它噪聲標記。為了解決偏多標記學習問題，現(xiàn)有方法往往基于對數(shù)據結構的額外假設來對候選標記集合進行消歧。然而，在實際任務中，這些假設通常難以成立，導致學得模型難以泛化到不同偏多標記分類任務中。本文提出了一種基于元消歧的偏多標記學習方法。與以往工作基于額外假設不同，我們首次引入元學習的方法來對候選標記進行消歧。一方面，通過最小化基于置信度加權的排序損失來學習個多標記分類器；另一方面，根據候選標記在少量驗證集樣本上的性能來自適應地估計其置信度。為了提高優(yōu)化速率，我們提出使用在線優(yōu)化策略來迭代地更新這兩個步驟。在不同數(shù)據集上大量的實驗證明了提出方法的有效性。

本期AI TIME PhD直播間我們邀請到南京航天航空大學計算機系博士生——謝明昆，為我們帶來報告《基于元消歧的偏多標記學習》。

謝明昆：

南京航空航天大學計算機專業(yè)一年級在讀博士生，導師為黃圣君教授。主要研究方向為機器學習和數(shù)據挖掘，包括弱監(jiān)督學習，多標記學習等。以第一作者在包括TPAMI, NeurIPS, KDD, AAAI等國際期刊和會議上發(fā)表多篇論文。

01

?背? 景?

（1）?什么是多標記學習？

常規(guī)的監(jiān)督學習，每個示例只有一個真實標記，而在多標記學習中，每個示例同時與多個標記相關。

（2）?多標記學習的難點

對于單標記學習，比如下面左圖，我們可以很容易給出“Dog”標簽；但對于多標記學習，我們很難給出一張圖的所有標記，比如下面右圖給出的標記有藍天，白云，樹，但還有海灘，島嶼等一些沒能給出的。因此多標記學習中，獲取每張圖片所有可能標記是比較困難的。所以多標記學習中一個關鍵的問題是如何顯著降低圖片標注難度，從而降低圖片標注代價。

一種有效的解決方案是偏標注，即從眾包平臺上收集許多標注者對一張圖片的標注，這些標注的并集構成候選標記集合。如下圖左邊的例子，候選標記集合既包含像窗戶，自行車等相關標記，也包含人，花等無關標記。

基于候選標記集合的樣本進行學習稱為偏多標記學習，具體任務是要學習一個分類器。每個樣本都對應一個候選標記集合，采用偏多標記學習算法（PML）對這些樣本學習，從而得到多標記模型（MLL），多標記模型在遇到新樣本時可以預測出樣本的所有可能的相關標記。

為了更好地辨別理解偏多標記學習算法，我們介紹幾個與偏多標記相關的學習框架。多標記學習（MLL）是給定樣本所有相關標記進行學習；偏標記學習是給定每一個示例一個候選標記集，該集合中有且僅有一個真實標記；弱標記學習（MLML）是給定的樣本只有部分相關標記；偏多標記學習（PML）是給定每一個示例一個候選標記集，該集合中既包含多個真實標記，也包含其它無關標記。

目前主流的偏多標記學習方法是基于消歧，每個候選標記都有置信度，根據額外的假設估計置信度。但在實際問題中，這些假設很多都不成立。因此，本文提出一種元消歧的方法，通過元學習的方式估計置信度。

02

?方? 法?

本文提出基于元消歧的偏多標記算法（PML-MD）來解決偏多標記分類問題。PML-MD在偏多標記候選集上采用帶置信度的排序損失，在給候選集排序時，不僅考慮候選集是否與樣本相關，還考慮候選集中標記的置信度。比如下圖例子中，“people”、“flower”等候選集中的無關標記雖然排在了非候選集中“dog”標記之前，但也是以一個較低的置信度排在“dog”之前的。

下面介紹PML-MD方法是如何估計標記置信度的。我們根據元消歧的方式估計置信度ρ，核心思想是根據ρ在驗證集上到表現(xiàn)為指導更新置信度，損失函數(shù)如下圖所示。更新策略采用迭代優(yōu)化的方式，首先固定置信度ρ，然后最小化訓練損失，得到最優(yōu)的模型參數(shù)θ；然后固定模型參數(shù)θ，最小化驗證集上的元消歧損失，得到最優(yōu)置信度ρ。

由于θ往往是神經網絡的參數(shù)，因此更新復雜度較高，故本文提出一種在線近似優(yōu)化機制，核心思想是采用一步梯度下降逼近上述優(yōu)化過程。具體實現(xiàn)如下：

03

?實? 驗?

提出的方法：

PML-MD：驗證集僅用于消歧。

PML-MD+：驗證集用于消歧和訓練。

數(shù)據集：采用8個多標記數(shù)據集，以一個概率將無關標記翻轉為候選標記的方式來構建偏多標記數(shù)據集。包括兩種翻轉噪聲水平，high-level label noise的反轉概率有[0.5,0.6,0.7,0.8], low-level label noise的反轉概率有[0.2,0.3,0.4,0.5]。

Baseline：

①?PML-NI[Xie & Huang, TPAMI’21],

②?PML-LRS [Sun et al., AAAI’19],

③?fPML [Yu et al., ICDM’18],

④?PARMAP

⑤?PARVLS[Zhang et al., TPAMI’20

評價指標：

? Hamming Loss, Ranking Loss, One Error, Coverage ↓

? Average Precision ↑

實驗結果：

下面給出對比不同方法在不同數(shù)據集上的實驗結果，加黑點表示我們的方法能顯著優(yōu)于該對比方法。本文提出的PML-MD在多個實驗樣例上都有很優(yōu)秀的性能表現(xiàn)。

（1）low-level?label?noise數(shù)據集的實驗結果

（2）high-level?label?noise的實驗結果

（3）真實數(shù)據集的實驗結果

提

醒

點擊閱讀原文

即可觀看分享回放哦！

整理：愛 國

審核：謝明昆

AI TIME歡迎AI領域學者投稿，期待大家剖析學科歷史發(fā)展和前沿技術。針對熱門話題，我們將邀請專家一起論道。同時，我們也長期招募優(yōu)質的撰稿人，頂級的平臺需要頂級的你！

請將簡歷等信息發(fā)至min.gao@aminer.cn！

微信聯(lián)系:AITIME_HY

AI TIME是清華大學計算機系一群關注人工智能發(fā)展，并有思想情懷的青年學者們創(chuàng)辦的圈子,旨在發(fā)揚科學思辨精神，邀請各界人士對人工智能理論、算法、場景、應用的本質問題進行探索，加強思想碰撞，打造一個知識分享的聚集地。

更多資訊請掃碼關注

我知道你在看喲

點擊“閱讀原文”查看精彩回放

總結

以上是生活随笔為你收集整理的干货！基于元消歧的偏多标记学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。