目錄

1.研究背景

2.研究動機和思路

3. 半監(jiān)督框架下的不均衡學(xué)習(xí)

01半監(jiān)督的不平衡學(xué)習(xí)框架

02實驗

4.關(guān)于半監(jiān)督不均衡學(xué)習(xí)的進一步思考

5.自監(jiān)督框架下的不均衡學(xué)習(xí)

01自監(jiān)督的不平衡學(xué)習(xí)框架樂

02實驗

6.結(jié)語

---

---

Yuzhe Yang等人在論文Rethinking the Value of Labels for Improving Class-Imbalanced Learning中主要研究一個經(jīng)典而又非常實際且常見的問題：數(shù)據(jù)類別不平衡（也泛稱數(shù)據(jù)長尾分布）下的分類問題。我們通過理論推導(dǎo)和大量實驗發(fā)現(xiàn)，半監(jiān)督和自監(jiān)督均能顯著提升不平衡數(shù)據(jù)下的學(xué)習(xí)表現(xiàn)。

????那么開篇首先用一句話概括本文的主要貢獻：我們分別從理論和實驗上驗證了，對于類別不均衡的學(xué)習(xí)問題，利用

• 半監(jiān)督學(xué)習(xí)：也即利用更多的無標(biāo)簽數(shù)據(jù)；

• 自監(jiān)督學(xué)習(xí)：不利用任何其他數(shù)據(jù)，僅通過在現(xiàn)有的不平衡數(shù)據(jù)上先做一步不帶標(biāo)簽信息的自監(jiān)督預(yù)訓(xùn)練（self-supervised pre-training）

????都可以大大提升模型的表現(xiàn)，并且對于不同的平衡/不平衡的訓(xùn)練方法，從最基本的交叉熵損失，到進階的類平衡損失[1][2]，重采樣[3]，重加權(quán)[4][5]，以及之前的state-of-the-art最優(yōu)的decouple算法[6]等，都能帶來一致的&較大的提升。相信我們從和現(xiàn)有方法正交的角度的分析，可以作為解決不平衡長尾問題的新的思路，其簡單和通用性也使得能夠很容易和不同方法相結(jié)合，進一步提升學(xué)習(xí)結(jié)果。

????接下來我們進入正文，我會先拋開文章本身，大體梳理一下imbalance這個問題以及一部分研究現(xiàn)狀，在此基礎(chǔ)上盡量詳細的介紹我們的思路和方法，省去不必要的細節(jié)。

1.研究背景

????數(shù)據(jù)不平衡問題在現(xiàn)實世界中非常普遍。對于真實數(shù)據(jù)，不同類別的數(shù)據(jù)量一般不會是理想的uniform分布，而往往會是不平衡的；如果按照不同類別數(shù)據(jù)出現(xiàn)的頻率從高到低排序，就會發(fā)現(xiàn)數(shù)據(jù)分布出現(xiàn)一個“長尾巴”，也即我們所稱的長尾效應(yīng)。大型數(shù)據(jù)集經(jīng)常表現(xiàn)出這樣的長尾標(biāo)簽分布：

????當(dāng)然，不僅僅是對于分類任務(wù)，其他任務(wù)比如object detection或instance segmentation，常用數(shù)據(jù)集也存在類別的不均衡。此外，除了視覺領(lǐng)域中的數(shù)據(jù)，對于涉及安全或健康的關(guān)鍵應(yīng)用，例如自動駕駛和醫(yī)療/疾病診斷，數(shù)據(jù)本質(zhì)上也是嚴重失衡的。

????為什么會存在不平衡的現(xiàn)象？其實很好理解，一個通用的解釋就是特定類別的數(shù)據(jù)是很難收集的。拿Species分類來說（參考大型數(shù)據(jù)集iNaturalist[7]），特定種類（如貓，狗等）非常常見，但是有的種類（如高山兀鷲，隨便舉的例子...）就非常稀有。再比如對自動駕駛，正常行駛的數(shù)據(jù)會占大多數(shù)，而真正發(fā)生異常情況/存在車禍危險的數(shù)據(jù)卻極少。再比如對醫(yī)療診斷，患有特定疾病的人群數(shù)相比正常人群也是極度不平衡的。對于healthcare data來說另一個可能原因是和privacy issue有關(guān)，特定病人可能都很難采集數(shù)據(jù)。

????那么，不平衡或長尾數(shù)據(jù)會有什么問題？簡單來說，如果直接把類別不平衡的樣本丟給模型用ERM學(xué)習(xí)，顯然模型會在major classes的樣本上的學(xué)習(xí)效果更好，而在minor classes上泛化效果差，因為其看到的major classes的樣本遠遠多于minor classes。

????那么，對于不平衡學(xué)習(xí)問題有哪些解決方法？我自己總結(jié)的目前主流方法大致分為以下幾種：

重采樣（re-sampling）：更具體可分為對少樣本的過采樣[3]，或是對多樣本的欠采樣[8]。但因過采樣容易overfit到minor class，無法學(xué)到更魯棒易泛化的特征，往往在非常不平衡數(shù)據(jù)上表現(xiàn)會更差；而欠采樣則會造成major class嚴重的信息損失，導(dǎo)致欠擬合發(fā)生。

數(shù)據(jù)合成（synthetic samples）：即生成和少樣本相似的“新”數(shù)據(jù)。經(jīng)典方法SMOTE[9]，思路簡單來講是對任意選取的少類樣本，用K近鄰選取其相似樣本，通過對樣本線性插值得到新樣本。這里會想到和mixup[10]很相似，于是也有imbalance的mixup版本出現(xiàn)[11]。

重加權(quán)（re-weighting）：對不同類別（甚至不同樣本）分配不同權(quán)重。注意這里的權(quán)重可以是自適應(yīng)的。此類方法的變種有很多，有最簡單的按照類別數(shù)目的倒數(shù)來做加權(quán)[12]，按照“有效”樣本數(shù)加權(quán)[1]，根據(jù)樣本數(shù)優(yōu)化分類間距的loss加權(quán)[4]，等等。

遷移學(xué)習(xí)（transfer learning）：這類方法的基本思路是對多類樣本和少類樣本分別建模，將學(xué)到的多類樣本的信息/表示/知識遷移給少類別使用。代表性文章有[13][14]。

度量學(xué)習(xí)（metric learning）：本質(zhì)上是希望能夠?qū)W到更好的embedding，對少類附近的boundary/margin更好的建模。有興趣的同學(xué)可以看看[15][16]。

元學(xué)習(xí)/域自適應(yīng)（meta learning/domain adaptation）：分別對頭部和尾部的數(shù)據(jù)進行不同處理，可以去自適應(yīng)的學(xué)習(xí)如何重加權(quán)[17]，或是formulate成域自適應(yīng)問題[18]。

解耦特征和分類器（decoupling representation & classifier）：最近的研究發(fā)現(xiàn)將特征學(xué)習(xí)和分類器學(xué)習(xí)解耦，把不平衡學(xué)習(xí)分為兩個階段，在特征學(xué)習(xí)階段正常采樣，在分類器學(xué)習(xí)階段平衡采樣，可以帶來更好的長尾學(xué)習(xí)結(jié)果[5][6]。這也是目前的最優(yōu)長尾分類算法。

????至此大概總結(jié)了研究背景和常用方法；然而，即使有如數(shù)據(jù)重采樣或類平衡損失等專門設(shè)計的算法，在極端的類別失衡下，深度模型性能的下降仍然廣泛存在。因此，理解類別不均衡的數(shù)據(jù)標(biāo)簽分布所帶來的影響是非常重要的。

2.研究動機和思路

????不同于之前對于長尾分布研究方法，我們從“the value of labels”，即這些本身就不平衡的數(shù)據(jù)標(biāo)簽具有的“價值”這一思路去考慮。與理想情況下平衡的標(biāo)簽不同，這些不平衡的數(shù)據(jù)標(biāo)簽存在一個非常有趣的dilemma。

????一方面，這些標(biāo)簽提供了非常珍貴的監(jiān)督信息。有監(jiān)督的學(xué)習(xí)通常都比無監(jiān)督的學(xué)習(xí)在給定任務(wù)上具有更高準確性，因此即使不平衡，這些標(biāo)簽也擁有“正面價值”。但是另一方面，由于標(biāo)簽非常不平衡，訓(xùn)練模型的過程中可以非常自然的強加上label bias，從而使得最后的決策區(qū)域很大程度上被major class影響；這樣的結(jié)果又證明了不平衡標(biāo)簽的“負面價值”。作為總結(jié)，在不平衡的訓(xùn)練集中，這些標(biāo)簽就像一把雙刃劍；想要得到更好的結(jié)果，一個非常重要的問題就是如何最大程度的利用不平衡標(biāo)簽的“價值”？

????于是，我們嘗試系統(tǒng)性的分解并且分別分析上述兩種不同的角度。我們的結(jié)論表明對于正面的和負面的角度，不平衡標(biāo)簽的價值都可被充分利用，從而極大的提高最后分類器的準確性：

• 從正面價值的角度，我們發(fā)現(xiàn)當(dāng)有更多的無標(biāo)簽數(shù)據(jù)時，這些不平衡的標(biāo)簽提供了稀缺的監(jiān)督信息。通過利用這些信息，我們可以結(jié)合半監(jiān)督學(xué)習(xí)去顯著的提高最后的分類結(jié)果，即使無標(biāo)簽數(shù)據(jù)也存在長尾分布。

• 從負面價值的角度，我們證明了不平衡標(biāo)簽并非在所有情況下都是有用的。標(biāo)簽的不平衡大概率會產(chǎn)生label bias。因此在訓(xùn)練中，我們首先想到“拋棄”標(biāo)簽的信息，通過自監(jiān)督的學(xué)習(xí)方式先去學(xué)到好的起始表示形式。我們的結(jié)果表面通過這樣的自監(jiān)督預(yù)訓(xùn)練方式得到的模型也能夠有效的提高分類的準確性。

3. 半監(jiān)督框架下的不均衡學(xué)習(xí)

????我們首先從半監(jiān)督的不均衡學(xué)習(xí)說起，通過一個簡單的理論模型分析來建立直觀的解釋（省去了許多細節(jié)；可以直接跳到解釋部分），之后展示一些有意思的實驗結(jié)果。

那么直觀理解，對于這樣一個toy example，這個定理告訴了我們以下兩點很有意思的結(jié)論：

原始數(shù)據(jù)集的不平衡性會影響我們最后estimator的準確性。

無標(biāo)簽數(shù)據(jù)集的不平衡性影響我們能夠得到一個好的estimator的概率。

01半監(jiān)督的不平衡學(xué)習(xí)框架

????我們的理論發(fā)現(xiàn)表明，利用pseudo-label偽標(biāo)簽（以及訓(xùn)練數(shù)據(jù)中的標(biāo)簽信息）可以有助于不平衡學(xué)習(xí)；而數(shù)據(jù)的不平衡程度會影響學(xué)習(xí)的結(jié)果。受此啟發(fā)，我們系統(tǒng)地探索了無標(biāo)記數(shù)據(jù)的有效性。我們采用最簡單的自訓(xùn)練（self-training）的半監(jiān)督學(xué)習(xí)方法，即對無標(biāo)記數(shù)據(jù)生成偽標(biāo)簽（pseudo-labeling）進而一起訓(xùn)練。

????值得注意的是，除了self-training之外，其他的半監(jiān)督算法也可以通過僅修改損失函數(shù)輕松地并入我們的框架中；同時，由于我們未指定學(xué)習(xí)策略，因此半監(jiān)督框架也能很輕易的和現(xiàn)有類別不平衡的算法相結(jié)合。

02實驗

????到了激動人心的實驗部分了 :)! 首先說一下實驗的setting --- 我們選擇了人工生成的長尾版本的CIFAR-10和SVHN數(shù)據(jù)集，因為他們均有天然對應(yīng)、且數(shù)據(jù)分布相似的無標(biāo)記數(shù)據(jù)：CIFAR-10屬于Tiny-Images數(shù)據(jù)集，而SVHN本身就有一個extra dataset可用來模擬多余的無標(biāo)記數(shù)據(jù)。這部分更加細節(jié)的setting請詳見我們的文章；我們也開源了相應(yīng)的數(shù)據(jù)供大家使用測試。對于無標(biāo)記數(shù)據(jù)，我們也考慮到了其可能的不平衡/長尾分布，并顯式的比較了不同分布的無標(biāo)記數(shù)據(jù)的影響。

????而具體的實驗結(jié)果如下表所示。我們可以清楚看到，利用無標(biāo)記數(shù)據(jù)，半監(jiān)督學(xué)習(xí)能夠顯著提高最后的分類結(jié)果，并且在不同的 (1) 數(shù)據(jù)集，(2) base學(xué)習(xí)方法，(3) 標(biāo)記數(shù)據(jù)的不平衡比率，(4) 無標(biāo)記數(shù)據(jù)的不平衡比率下，都能帶來一致的提升。此外，我們在附錄里還提供了 (5) 不同半監(jiān)督學(xué)習(xí)方法的比較，以及不同data amount的ablation study。

????最后展示一下定性的實驗結(jié)果。我們分別畫出了不使用/使用無標(biāo)簽數(shù)據(jù)，在訓(xùn)練集和測試集上的t-SNE可視化圖。從圖中可以直觀看出，使用未標(biāo)記數(shù)據(jù)有助于建模更清晰的類邊界，并促成更好的類間分離，尤其是對于尾類的樣本。這樣的結(jié)果也符合我們的直觀理解，對于尾類樣本，其所處區(qū)域的數(shù)據(jù)密度低，模型在學(xué)習(xí)過程中不能對這些low-density區(qū)域很好建模邊界，從而造成模糊性（ambiguity）導(dǎo)致較差的泛化；而無標(biāo)記數(shù)據(jù)則能有效提高低密度區(qū)域樣本量，加上了更強的regularization使得模型重新更好地建模邊界。

4.關(guān)于半監(jiān)督不均衡學(xué)習(xí)的進一步思考

????雖然通過半監(jiān)督學(xué)習(xí)，模型在不平衡數(shù)據(jù)上的表現(xiàn)能夠得到顯著的提升，但是半監(jiān)督學(xué)習(xí)本身也存在一些實際應(yīng)用的問題，而這些問題在不平衡學(xué)習(xí)中可能會被進一步放大。接下來我們通過設(shè)計相應(yīng)實驗來系統(tǒng)地闡述和分析這些情況，并motivate接下來對于不平衡標(biāo)簽“負面價值”的思考和研究。

????首先，無標(biāo)簽數(shù)據(jù)與原始數(shù)據(jù)的相關(guān)性對于半監(jiān)督學(xué)習(xí)的結(jié)果有很大的影響。舉個栗子，對于CIFAR-10（10類分類）來說，獲得的無標(biāo)簽數(shù)據(jù)可能并不屬于原本10類中的任何一類（比如高山兀鷲...），這時多余的信息則可能對訓(xùn)練和結(jié)果造成不小影響。為了驗證這一觀點，我們固定無標(biāo)簽數(shù)據(jù)和原始訓(xùn)練數(shù)據(jù)有相同的不平衡比率，但是通過改變無標(biāo)簽數(shù)據(jù)和原始訓(xùn)練數(shù)據(jù)的相關(guān)性去構(gòu)造不同的無標(biāo)簽數(shù)據(jù)集。從Figure 2中我們可以看出，無標(biāo)簽數(shù)據(jù)的相關(guān)性需要達到將近60%以上才能過對不平衡學(xué)習(xí)有正面的幫助。

????既然原始訓(xùn)練數(shù)據(jù)是不平衡的，能夠采集到的無標(biāo)簽數(shù)據(jù)也大概率是極度不平衡的。譬如醫(yī)療數(shù)據(jù)中，你構(gòu)建了自動診斷某類疾病的數(shù)據(jù)集，其中正例（患病）很少，只占總體1%，但因為此病得病率就在1%左右，即使大量搜集無標(biāo)簽數(shù)據(jù)，其中真正患病數(shù)據(jù)大概率還是很少。那么，在同時考慮相關(guān)性的前提下，如Figure 3所示，我們首先讓無標(biāo)簽數(shù)據(jù)集有足夠的相關(guān)性（60%），但改變無標(biāo)簽數(shù)據(jù)的不平衡比率。這個實驗中，我們固定原始訓(xùn)練數(shù)據(jù)的不平衡比率為50。可以看到對于無標(biāo)簽數(shù)據(jù)，當(dāng)無標(biāo)簽數(shù)據(jù)過于不平衡（本例中不平衡比率高于50）時，利用無標(biāo)簽數(shù)據(jù)反而可能讓結(jié)果變得更差。

????上述問題在某些特定的實際不平衡學(xué)習(xí)任務(wù)中，可能是非常普遍的。比如醫(yī)療/疾病診斷的應(yīng)用，對于可能獲得的無標(biāo)記數(shù)據(jù)，其絕大多數(shù)大概率也都是從正常樣本上采集的，這首先造成了數(shù)據(jù)的不平衡；其次，即使是患病的樣本，也很可能由很多其他混雜因素（confounding factors）導(dǎo)致，而這會降低與本身研究病癥的相關(guān)性。因此，在一些很難利用半監(jiān)督學(xué)習(xí)的極端情況下，我們需要完全不同的但是也行之有效的方法。非常自然的，我們接下來從不平衡標(biāo)簽負面價值的角度去入手，闡述另一思路 --- 自監(jiān)督學(xué)習(xí)帶來的好處。

5.自監(jiān)督框架下的不均衡學(xué)習(xí)

????同樣地，我們首先通過一個簡單的理論模型分析來直觀理解自監(jiān)督對不平衡學(xué)習(xí)所帶來的影響（同樣也可以直接跳到解釋部分），之后展示有意思的實驗結(jié)果，以及總結(jié)思考。

????同樣的，我們嘗試直觀的解釋這個定理的意義。我們發(fā)現(xiàn)在這樣簡單的情況下，如果通過一個好的self-supervised task學(xué)習(xí)到了有用的表達形式，我們能得到：

有很高的概率，我們能得到一個更好的分類器。這個分類器的error probability隨數(shù)據(jù)維度??的增加而指數(shù)型減小。對于如今常見的高維數(shù)據(jù)（如圖像）這種性質(zhì)是我們希望得到的。

訓(xùn)練數(shù)據(jù)的不平衡性會影響我們能夠得到這樣一個好的分類器的概率。

01自監(jiān)督的不平衡學(xué)習(xí)框架樂

????為利用自監(jiān)督來克服固有的“l(fā)abel bias”，我們提出在長尾學(xué)習(xí)的第一階段先放棄標(biāo)簽信息，并進行自監(jiān)督預(yù)訓(xùn)練（self-supervised pre-training，SSP）。此過程旨在從不平衡數(shù)據(jù)集中學(xué)到更好的、與標(biāo)簽無關(guān)的初始化特征信息。在此階段后，我們可以使用任何標(biāo)準的訓(xùn)練方法，去訓(xùn)練得到最終的模型。由于預(yù)訓(xùn)練與正常訓(xùn)練階段所采用的學(xué)習(xí)方法無關(guān)，因此這種策略可與任何現(xiàn)有的不平衡學(xué)習(xí)算法兼容。一旦自監(jiān)督產(chǎn)生良好的初始化，網(wǎng)絡(luò)就可以從預(yù)訓(xùn)練任務(wù)中受益，并最終學(xué)習(xí)到更通用的表示形式。

02實驗

????那么又一次到了激動人心的實驗部分 ;) 這次由于不需要額外數(shù)據(jù)，我們除了在長尾的CIFAR-10/100上驗證算法，也在大型數(shù)據(jù)集ImageNet的長尾版本，以及一個真實的大型長尾數(shù)據(jù)集iNaturalist[7]上進行測試，并和相應(yīng)state-of-the-art對比。對于自監(jiān)督算法，我們采用了經(jīng)典的Rotation prediction[19]和最新的對比學(xué)習(xí)方法MoCo[20]。在Appendix里我們也提供了更多ablation study，比較了4種不同自監(jiān)督方法的效果，以及不同的Imbalance Type。

????具體實驗結(jié)果如以下兩表格所示。一言以蔽之，使用SSP能夠?qū)Σ煌?(1) 數(shù)據(jù)集，(2) 不平衡比率，以及 (3) 不同的基礎(chǔ)訓(xùn)練算法，都帶來了一致的、肉眼可見的提升，并且在不同數(shù)據(jù)集上都超過了之前最優(yōu)的長尾分類算法。

????最后同樣展示一下自監(jiān)督下的定性實驗結(jié)果。與之前一樣，我們分別畫出了訓(xùn)練和測試集的特征t-SNE投影。從圖中不難發(fā)現(xiàn)，正常CE訓(xùn)練的決策邊界會很大程度被頭類樣本改變，從而導(dǎo)致在（平衡的）測試集中尾類樣本的大量“泄漏”，無法很好泛化。相比之下，使用SSP可以保持清晰的分離效果，并減少尾類樣本的泄漏，尤其是在相鄰的頭類和尾類之間。這樣的結(jié)果同樣也能直觀理解：自監(jiān)督學(xué)習(xí)通過額外的task來約束學(xué)習(xí)過程，對數(shù)據(jù)空間的結(jié)構(gòu)學(xué)習(xí)的更完整、提取的信息更全面，相比不平衡的標(biāo)簽信息帶來的語義信息的不平衡，其能有效減輕網(wǎng)絡(luò)對高層語義特征的依賴，以及對尾部數(shù)據(jù)的過擬合，學(xué)到的特征表示會更魯棒易泛化，從而在下游任務(wù)中表現(xiàn)更好。

6.結(jié)語

????最后總結(jié)一下本文，我們首次通過半監(jiān)督和自監(jiān)督這兩個不同的viewpoint去嘗試理解和利用不平衡的數(shù)據(jù)（標(biāo)簽），并且驗證了這兩種框架均能提升類別不均衡的長尾學(xué)習(xí)問題。我個人還是挺喜歡這篇文章的，有很直觀的理論分析與解釋，以及用非常簡潔并且通用的框架去提升長尾分布下的學(xué)習(xí)任務(wù)。拿一位給我們很高分數(shù)的reviewer的原話，“The results could be of interest to even broader area of different applications”，即不只是局限于文中做的幾個academic datasets，而對于現(xiàn)實中許多常見的imbalance或long-tail的任務(wù)，都是能即插即用，或是對如何有效收集無標(biāo)簽數(shù)據(jù)提供一些insight的。

????當(dāng)然，宣傳歸宣傳，我們的工作還是存在其局限性。雖然我們考慮到了無標(biāo)簽數(shù)據(jù)的不平衡性，但是對于半監(jiān)督（或是自監(jiān)督）的算法本身，并沒有整合不平衡學(xué)習(xí)的策略，而是直接使用了vanilla的算法。其次，如我們標(biāo)題所帶詞語“improving”所示，我們能提升現(xiàn)有的最優(yōu)算法，但長尾問題本身仍未完全解決，甚至還有很大的提升空間。希望本文能拋磚引玉，也非常歡迎大家follow我們的工作！

---

?參考資料

abYin Cui, Menglin Jia, Tsung-Yi Lin, Yang Song, and Serge Belongie. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 9268–9277, 2019.

Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In ICCV, pages 2980–2988, 2017.

abSamira Pouyanfar, et al. Dynamic sampling in convolutional neural networks for imbalanced data classification.

abLearning Imbalanced Datasets with Label-Distribution-Aware Margin Loss. NeurIPS, 2019.

abBBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition. CVPR, 2020.

abDecoupling representation and classifier for long-tailed recognition. ICLR, 2020.

abiNatrualist 2018 competition dataset.? https://github.com/visipedia/inat_comp/tree/master/2018

He, H. and Garcia, E. A. Learning from imbalanced data. TKDE, 2008.

Chawla, N. V., et al. SMOTE: synthetic minority oversampling technique. JAIR, 2002.

mixup: Beyond Empirical Risk Minimization. ICLR 2018.

H. Chou et al. Remix: Rebalanced Mixup. 2020.

Deep Imbalanced Learning for Face Recognition and Attribute Prediction. TPAMI, 2019.

Large-scale long-tailed recognition in an open world. CVPR, 2019.

Feature transfer learning for face recognition with under-represented data. CVPR, 2019.

Range Loss for Deep Face Recognition with Long-Tail. CVPR, 2017.

Learning Deep Representation for Imbalanced Classification. CVPR, 2016.

Meta-Weight-Net: Learning an Explicit Mapping For Sample Weighting. NeurIPS, 2019.

Rethinking Class-Balanced Methods for Long-Tailed Recognition from a Domain Adaptation Perspective. CVPR, 2020.

Spyros Gidaris, Praveer Singh, and Nikos Komodakis. Unsupervised representation learning by predicting image rotations. arXiv preprint arXiv:1803.07728, 2018.

https://zhuanlan.zhihu.com/p/259710601

Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross Girshick. Momentum contrast for unsupervised visual representation learning. arXiv preprint arXiv:1911.05722, 2019.

Paper:https://arxiv.org/pdf/2006.07529.pdf

code:https://github.com/YyzHarry/imbalanced-semi-self

project:https://www.mit.edu/~yuzhe/imbalanced-semi-self.html

總結(jié)

以上是生活随笔為你收集整理的【长尾分布】用半监督或自监督解决的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。