?作者?|?機(jī)器之心編輯部

來源?|?機(jī)器之心

長尾學(xué)習(xí)是推動(dòng)神經(jīng)網(wǎng)絡(luò)模型落地的重要范式。在這篇綜述中，來自新加坡國立大學(xué)和 SEA AI Lab 的學(xué)者們首次系統(tǒng)地闡述了深度長尾學(xué)習(xí)及其方法和應(yīng)用，并提出了一個(gè)新的評(píng)價(jià)指標(biāo)以驗(yàn)證現(xiàn)存長尾學(xué)習(xí)方法對類別不平衡問題的解決能力。

深度長尾學(xué)習(xí)是視覺識(shí)別任務(wù)中最具挑戰(zhàn)性的問題之一，旨在從大量遵循長尾類別分布的圖像中訓(xùn)練出性能良好的深度神經(jīng)網(wǎng)絡(luò)模型。近年來，學(xué)者們對該問題開展了大量研究，并取得了可喜進(jìn)展。鑒于該領(lǐng)域的飛速發(fā)展，在這篇綜述中，來自新加坡國立大學(xué)和 SEA AI Lab 的顏水成、馮佳時(shí)團(tuán)隊(duì)對深度長尾學(xué)習(xí)的最新進(jìn)展進(jìn)行了系統(tǒng)性的梳理和分類討論，并設(shè)計(jì)了一個(gè)新的評(píng)價(jià)指標(biāo)對現(xiàn)存方法進(jìn)行實(shí)驗(yàn)分析，同時(shí)也對未來的重要研究方向進(jìn)行了展望。

論文鏈接：

https://arxiv.org/pdf/2110.04596.pdf

為什么要重視深度長尾學(xué)習(xí)？

近年來，深度學(xué)習(xí)已經(jīng)成為人工智能領(lǐng)域中最重要的技術(shù)之一。因強(qiáng)大的數(shù)據(jù)特征表達(dá)能力，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)被成功應(yīng)用到眾多視覺識(shí)別任務(wù)中并取得了顯著的突破，如圖像分類，物體檢測和語義分割等。深度神經(jīng)網(wǎng)絡(luò)的成功源于其大量的模型參數(shù)對任務(wù)模式的學(xué)習(xí)，而這一過程需要大量的標(biāo)注數(shù)據(jù)進(jìn)行模型訓(xùn)練。在傳統(tǒng)視覺識(shí)別任務(wù)中，標(biāo)注數(shù)據(jù)的類別分布往往受到人為調(diào)整而變得均衡，即不同類別的樣本數(shù)量無明顯差別。

而在實(shí)際應(yīng)用中，自然采集的數(shù)據(jù)類別通常表現(xiàn)為長尾分布（如下圖），即一小部分類別擁有大量的樣本，而其余大部分類別只有較少的樣本量。然而，這一類別不平衡問題往往使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練變得非常困難。如下圖所示，在長尾數(shù)據(jù)下訓(xùn)練的模型容易偏向訓(xùn)練數(shù)據(jù)中的多數(shù)類，即多數(shù)類的特征空間往往大于少數(shù)類的特征空間，且分類決策邊界會(huì)向少數(shù)類方向偏移以確保更好地分類多數(shù)類，這一現(xiàn)象往往導(dǎo)致深度模型在數(shù)據(jù)量有限的少數(shù)類上表現(xiàn)不佳。因此，直接使用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化方法來訓(xùn)練深度模型無法處理具有長尾類別不平衡問題的實(shí)際應(yīng)用，如人臉識(shí)別，物種分類，醫(yī)學(xué)圖像診斷，無人機(jī)檢測等等。

為了解決這一長尾類別不平衡問題，深度長尾學(xué)習(xí)旨在從大量遵循長尾類分布的圖像中訓(xùn)練出性能良好的深度模型。鑒于類別不平衡問題在現(xiàn)實(shí)任務(wù)中十分廣泛，并且訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的類別分布差異會(huì)極大限制神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用，這一研究課題具有重要的現(xiàn)實(shí)意義，是推動(dòng)深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)模型落地的重要范式。

盡管深度長尾學(xué)習(xí)領(lǐng)域發(fā)展迅速，應(yīng)運(yùn)而生的大量論文卻容易導(dǎo)致學(xué)者和算法工程師們迷失在知識(shí)的海洋中。為了解決這一問題，該論文首次對深度長尾學(xué)習(xí)進(jìn)行了系統(tǒng)性的綜述，梳理出了一條深度長尾學(xué)習(xí)的清晰脈絡(luò)，從而幫助業(yè)界學(xué)者和專家更好地理解深度長尾學(xué)習(xí)，并推動(dòng)該領(lǐng)域的蓬勃發(fā)展。

該綜述首先詳細(xì)地介紹了深度長尾學(xué)習(xí)的任務(wù)設(shè)定、數(shù)據(jù)集、衡量指標(biāo)、主流網(wǎng)絡(luò)結(jié)構(gòu)、知名競賽、以及與其他任務(wù)間的關(guān)系。隨后，該文將現(xiàn)存方法進(jìn)行分類梳理。如下圖所示，現(xiàn)存方法被分為三個(gè)主要的類別（即類別重平衡、信息增強(qiáng)和網(wǎng)絡(luò)模塊改進(jìn)），同時(shí)能夠被進(jìn)一步細(xì)分為九個(gè)子類別。基于該分類法，該論文對現(xiàn)存方法進(jìn)行了詳細(xì)的綜述和討論。

其中經(jīng)典的方法如下表所示。同時(shí)作者還整理了一個(gè)深度長尾學(xué)習(xí)論文列表：https://github.com/Vanint/Awesome-LongTailed-Learning

此外，該綜述還提出了一個(gè)新的經(jīng)驗(yàn)衡量指標(biāo)（相對精度），并以此對現(xiàn)存最優(yōu)的長尾學(xué)習(xí)算法進(jìn)行了實(shí)驗(yàn)，旨在更好地對比現(xiàn)存方法對類別不平衡問題的處理能力。最后，該文探討了深度長尾學(xué)習(xí)的主要應(yīng)用場景和重要的未來研究方向。

深度長尾學(xué)習(xí)的主要方法類別

類別重平衡：類別重平衡是長尾學(xué)習(xí)的主流方法之一，旨在對不同類別的數(shù)據(jù)量差異進(jìn)行再平衡。該類方法可細(xì)分為類別重采樣，類別代價(jià)敏感學(xué)習(xí)和對數(shù)幾率調(diào)整。相較于其他的長尾學(xué)習(xí)范式，類別重平衡方法相對簡單，卻能獲得相似甚至更好的性能。同時(shí)，部分的類別重平衡方法（尤其是代價(jià)敏感學(xué)習(xí)）對于解決長尾類別不平衡問題具有理論分析保證。這些優(yōu)點(diǎn)使得該類方法成為解決實(shí)際長尾問題的重要工具。然而，該類方法的缺點(diǎn)在于，少數(shù)類的性能提升往往是以多數(shù)類的性能犧牲作為代價(jià)。盡管總體性能得到了提升，但該類方法無法本質(zhì)地解決長尾問題中缺少數(shù)據(jù)信息的問題，尤其是在少數(shù)類上。

信息增強(qiáng)：基于信息增強(qiáng)的方法旨在引入額外信息來增強(qiáng)模型訓(xùn)練，從而提升模型在長尾數(shù)據(jù)上的學(xué)習(xí)性能。該類方法可細(xì)分為遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)。因?yàn)橐肓祟~外的信息，基于信息增強(qiáng)的方法能夠在不損失多數(shù)類性能的情況下提升少數(shù)類性能。考慮到缺乏足夠的少數(shù)類樣本是長尾學(xué)習(xí)的一個(gè)關(guān)鍵問題，該類方法值得進(jìn)一步探索。例如，數(shù)據(jù)增強(qiáng)是一項(xiàng)相對基礎(chǔ)的技術(shù)，可以同時(shí)被應(yīng)用到多種長尾學(xué)習(xí)任務(wù)中，這使得它非常具有實(shí)用性。但是，簡單地應(yīng)用現(xiàn)存經(jīng)典的、不考慮類別差異的數(shù)據(jù)增強(qiáng)技術(shù)到長尾學(xué)習(xí)任務(wù)中是有局限的：即使長尾學(xué)習(xí)的整體性能獲得提升，但因?yàn)槎鄶?shù)類的數(shù)據(jù)量更多，導(dǎo)致多數(shù)類的數(shù)據(jù)增強(qiáng)也更多，從而進(jìn)一步加劇了類別不平衡問題。因此，如何設(shè)計(jì)更好的針對深度長尾學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法是一個(gè)值得探索的問題。

網(wǎng)絡(luò)模塊提升：除了類別重平衡和信息增強(qiáng)方法以外，學(xué)者們也探索了如何在長尾學(xué)習(xí)中有針對性地提升網(wǎng)絡(luò)模塊，包括：（1）表示學(xué)習(xí)提升特征特征提取器，（2）分類器設(shè)計(jì)改進(jìn)模型分類器，（3）解耦訓(xùn)練促進(jìn)特征提取器和分類器的訓(xùn)練，（4）集成學(xué)習(xí)提升整體的網(wǎng)絡(luò)結(jié)構(gòu)。其中，表征學(xué)習(xí)和分類器設(shè)計(jì)是深度長尾學(xué)習(xí)的基本問題，值得進(jìn)一步探索。解耦訓(xùn)練在最近的研究中越發(fā)受到關(guān)注；在該方案中，第二階段的類平衡分類器微調(diào)能帶來顯著的性能提升，并不會(huì)引入太多額外的計(jì)算成本。對該類方法的一種批評(píng)是，累積的訓(xùn)練階段會(huì)使解耦訓(xùn)練不太實(shí)用，難以直接與其他長尾問題中（如目標(biāo)檢測和實(shí)例分割）的經(jīng)典方法相結(jié)合。盡管如此，解耦訓(xùn)練的想法在概念上很簡單，因此可以很容易地在這些問題中用來設(shè)計(jì)新方法。最后，與其他類型的長尾學(xué)習(xí)方法相比，基于集成學(xué)習(xí)的方法通常在頭類和尾類上都能獲得更好的性能。這類方法的一個(gè)問題是，多個(gè)專家的使用會(huì)導(dǎo)致模型的計(jì)算成本增加。但是，該問題可以通過使用共享特征提取器來緩解，并且以效率為導(dǎo)向的專家分配策略和知識(shí)蒸餾策略也可以有效降低計(jì)算代價(jià)。

深度長尾學(xué)習(xí)的新評(píng)價(jià)指標(biāo)

深度長尾學(xué)習(xí)旨在處理長尾類別不平衡問題以獲得更好的模型性能，通常以測試集精度為衡量指標(biāo)來評(píng)價(jià)長尾學(xué)習(xí)方法的性能及其處理類別不平衡問題的能力。然而，因?yàn)槟Ｐ途韧瑫r(shí)也受除類別不平衡問題之外的其他因素影響，所以測試集精度指標(biāo)并不能準(zhǔn)確反映不同方法在處理類別不平衡問題時(shí)的相對優(yōu)勢。例如，基于數(shù)據(jù)增強(qiáng)的長尾學(xué)習(xí)方法也會(huì)提升在類別平衡數(shù)據(jù)集上所訓(xùn)得到模型的測試精度；在這種情況下很難判斷測試精度的提升是來自于類別不平衡問題的緩解還是來自更多數(shù)據(jù)信息的引入。這也啟發(fā)大家重新思考：到底怎樣才算真正解決長尾學(xué)習(xí)？為此，該綜述提出了一個(gè)新的相對精度指標(biāo)，用于消除非類別不平衡因素的影響，從而更好地衡量長尾學(xué)習(xí)算法對于類別不平衡問題的實(shí)際解決能力。基于這一指標(biāo)，該綜述開展實(shí)驗(yàn)對現(xiàn)存長尾學(xué)習(xí)算法進(jìn)行了深入分析。

深度長尾學(xué)習(xí)的未來方向

盡管深度長尾學(xué)習(xí)已經(jīng)取得長足的進(jìn)展，但依然存在許多開放性的問題以待進(jìn)一步研究。

新方法探索：不依賴于標(biāo)簽統(tǒng)計(jì)頻率的類別重平衡；基于無標(biāo)簽數(shù)據(jù)的遷移學(xué)習(xí)和半監(jiān)督學(xué)習(xí)；適用于多個(gè)長尾學(xué)習(xí)任務(wù)的數(shù)據(jù)增強(qiáng)；提升全部類別性能的集成學(xué)習(xí)。

新任務(wù)設(shè)定探索：測試集類別分布未知的長尾學(xué)習(xí)；存在開放類別的長尾學(xué)習(xí)；聯(lián)邦長尾學(xué)習(xí)；類增量長尾學(xué)習(xí)；多域長尾學(xué)習(xí)；魯棒長尾學(xué)習(xí)；長尾回歸；長尾視頻學(xué)習(xí)。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時(shí)聯(lián)系方式（微信），以便我們在稿件選用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的正视长尾挑战！颜水成、冯佳时团队发布首篇《深度长尾学习》综述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。