【自监督论文阅读笔记】Contrastive Self-Supervised Learning With Smoothed Representation for Remote Sensing
????????在遙感中，隨著時(shí)間的推移不斷積累大量未標(biāo)記的圖像，很難對(duì)所有數(shù)據(jù)進(jìn)行標(biāo)注。因此，一種可以使用未標(biāo)記數(shù)據(jù)提高識(shí)別率的自監(jiān)督學(xué)習(xí)技術(shù)將對(duì)遙感有用。這封信介紹了 基于 SimCLR 框架的 遙感平滑表示的 對(duì)比自監(jiān)督學(xué)習(xí)。在遙感的自監(jiān)督學(xué)習(xí)中，通常使用 眾所周知的特征，即 短距離內(nèi)的圖像 可能在語(yǔ)義上相似。本文的算法基于此知識(shí)，它同時(shí) 利用 多個(gè)相鄰圖像作為錨圖像的正對(duì)，這與現(xiàn)有方法（例如 Tile2Vec）不同。此外，最先進(jìn)的自監(jiān)督學(xué)習(xí)方法之一的 MoCo 和 SimCLR 僅使用單輸入圖像的兩個(gè)增強(qiáng)視圖，但本文提出的方法 使用多輸入圖像 并 對(duì)它們的表示進(jìn)行平均（例如，平滑表示）。因此，在農(nóng)田數(shù)據(jù)層 (CDL)、RESISC-45、UCMerced 和 EuroSAT 數(shù)據(jù)集中，所提出的方法優(yōu)于最先進(jìn)的自監(jiān)督學(xué)習(xí)方法，例如 Tile2Vec、MoCo 和 SimCLR。所提出的方法與 CDL 分類任務(wù)中的預(yù)訓(xùn)練 ImageNet 模型相當(dāng)。
I. INTRODUCTION：
????????在遙感領(lǐng)域，基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)技術(shù)，如 語(yǔ)義分割[1]-[3]、目標(biāo)檢測(cè)[4]-[6]、圖像分類[7]、[8]、[9]、[ 10]，應(yīng)用廣泛。特別是，圖像分類 是 遙感圖像分析的基本要素，它將遙感圖像分類為有意義的類別。在最近的相關(guān)研究中，已經(jīng)嘗試使用沒(méi)有標(biāo)簽的大規(guī)模數(shù)據(jù)來(lái)提高基于深度學(xué)習(xí)的視覺(jué)識(shí)別的準(zhǔn)確性。自監(jiān)督學(xué)習(xí)是使用未標(biāo)記數(shù)據(jù)學(xué)習(xí)有意義表征的代表性研究領(lǐng)域。現(xiàn)代自監(jiān)督學(xué)習(xí)技術(shù)，如 MoCo [11] 和 SimCLR [12]，已經(jīng)發(fā)展得很好。
????????代表性的 遙感自監(jiān)督學(xué)習(xí)方法是 Tile2Vec [13] 和 上下文編碼器 [14]。上下文編碼器用于語(yǔ)義分割任務(wù)，Tile2Vec 方法針對(duì)分類任務(wù)。 Tile2Vec 技術(shù)利用 三元組損失 來(lái)最小化 錨點(diǎn) 和 相鄰patches的表示 之間的距離，并最大化 錨點(diǎn) 和 遠(yuǎn)處patches 的表示之間的距離。
????????本文提出了一種 使用平滑表示的 自監(jiān)督學(xué)習(xí)方法，如圖 1 所示。不同于現(xiàn)有的最先進(jìn)方法，如 SimCLR [12]、MoCo [11] 和 Tile2Vec [13] ，本文?使用多個(gè)正樣本 和 負(fù)樣本來(lái)學(xué)習(xí)表示。被選為正樣本的 K 個(gè)相鄰圖像被平均 以創(chuàng)建平滑表示，這對(duì)于減少噪聲表示?很有用。本文的方法僅使用從 xView 數(shù)據(jù)集中收集的 325 600 個(gè)衛(wèi)星圖像塊進(jìn)行訓(xùn)練。所提出的方法表現(xiàn)出的性能可與在農(nóng)田數(shù)據(jù)層 (CDL) 分類中使用來(lái)自 ImageNet 的 120 萬(wàn)張圖像進(jìn)行訓(xùn)練所獲得的性能相媲美。
Contributions：
????????1)本文將 SimCLR 技術(shù)（一種用于通用圖像識(shí)別任務(wù)的最先進(jìn)算法）應(yīng)用于具有平滑表示的遙感應(yīng)用。
????????2) 據(jù)本文所知，本文是第一個(gè) 證明 自監(jiān)督學(xué)習(xí)算法 可以 在遙感應(yīng)用中 提供與 ImageNet 預(yù)訓(xùn)練模型相當(dāng)?shù)男阅?/span>的方法。
????????3) 本文使用 RESISC45、UCMerced 和 EuroSAT 數(shù)據(jù)集建立了實(shí)驗(yàn)協(xié)議，以評(píng)估遙感應(yīng)用中的自監(jiān)督學(xué)習(xí)算法。
II. MOTIVATION AND PROBLEM STATEMENT
????????Tile2Vec 方法使用?三元組損失，這會(huì)導(dǎo)致兩個(gè)問(wèn)題。
第一個(gè)問(wèn)題是 Tile2Vec 方法明確需要 錨點(diǎn)和遠(yuǎn)距離圖像 的一對(duì)負(fù)樣本。換句話說(shuō)，每個(gè)錨對(duì)應(yīng)于單個(gè)遠(yuǎn)距離圖像。最近提出的基于對(duì)比學(xué)習(xí)的自監(jiān)督學(xué)習(xí)技術(shù)?不需要 明確的負(fù)樣本對(duì) [12 SimCLR]。相反，未配對(duì)的錨圖像 和 相鄰圖像 用作負(fù)樣本。本文采用這種方法來(lái)提高性能。
第二個(gè)問(wèn)題是?可能會(huì) 錯(cuò)誤地選擇相鄰圖像。 Tile2Vec 方法僅選擇一個(gè)正例來(lái)計(jì)算三元組損失。當(dāng)相鄰圖像選擇不正確時(shí)，可能會(huì)出現(xiàn)性能下降。為了解決這個(gè)問(wèn)題，本文使用多個(gè)相鄰圖像。但是，目前（2021）沒(méi)有使用多個(gè)輸入的自監(jiān)督學(xué)習(xí)技術(shù)。本文專注于解決本研究中的兩個(gè)問(wèn)題。
III. CONTRASTIVE SELF-SUPERVISED LEARNING FOR REMOTE SENSING
????????本文認(rèn)為，第二部分提到的兩個(gè)問(wèn)題可以用兩種方法來(lái)解決。
第一個(gè)是使用只需要正樣本對(duì)的對(duì)比學(xué)習(xí)。
第二種是使用平滑的表示來(lái)允許對(duì)比學(xué)習(xí)中的多個(gè)輸入。
本節(jié)中解釋這兩種方法。本文技術(shù)的總體架構(gòu)如圖 2 所示。本文的算法使用從高分辨率衛(wèi)星圖像中提取的多個(gè)相鄰圖像。隨機(jī)選擇錨圖像和相鄰圖像，并將這些圖像用作編碼器的輸入。最后，本文使用帶有編碼器和投影頭提取輸入的特征，并通過(guò) 最小化基于特征的對(duì)比損失?來(lái)訓(xùn)練網(wǎng)絡(luò)。
A. Contrastive Learning With Neighbor Images
????????受 SimCLR 算法 [12] 的啟發(fā)，本文使用 隱空間中的對(duì)比損失 來(lái)最大化數(shù)據(jù)點(diǎn)的不同增強(qiáng)視圖之間的相似性。 SimCLR 算法使用從同一圖像裁剪的圖像。這些裁剪圖像應(yīng)該在空間上重疊，因?yàn)椴眉魣D像的內(nèi)容包含相同的對(duì)象。但是，本文使用 不重疊或輕微重疊的 錨點(diǎn)和相鄰圖像。本文算法的數(shù)學(xué)解釋如下。為了方便起見(jiàn)，假設(shè)本文選擇了一個(gè)相鄰的patch。將?錨點(diǎn)?和 相鄰圖像 的小批量分別表示為 ?和 。 N 是 mini-batch 的圖像數(shù)量。
????????衛(wèi)星圖像通常是大約 100 萬(wàn)像素或更大的大尺寸圖像。兩個(gè)裁剪圖像用于計(jì)算來(lái)自卷積神經(jīng)網(wǎng)絡(luò) f 的輸入的小批量 x 的表示 hx = f (x)。因此，我們可以分別用 f(a) 和 f(n) 得到 ha 和 hn。與原始的 SimCLR 類似，本文使用投影頭 ，其中 b(·) 是一個(gè)批量歸一化函數(shù) [15] 和 σ ( ·) 是一個(gè)整流線性單元(ReLU)函數(shù)。 W1 和 W2 分別表示 g(·) 的第一層和第二層全連接層的權(quán)重參數(shù)。 x 的隱變量是 zx = g(hx)。與原始的 SimCLR 算法不同，本文采用了批量歸一化。
????????對(duì)于損失函數(shù)，本文使用 歸一化溫度標(biāo)度交叉熵 (NT-Xent) 損失 來(lái)學(xué)習(xí) 具有相鄰補(bǔ)丁的表示。原始損失函數(shù)與原始 SimCLR 算法中使用的損失函數(shù)相同 [12]
其中 和? 是錨圖像和相鄰圖像的兩個(gè)批量batches中的第 j 個(gè)隱變量，za 和 zn 分別是錨圖像和相鄰圖像的隱變量的小批量mini-batches。每個(gè)mini-batches中的圖像數(shù)量用 N 表示。每個(gè)項(xiàng) l(·) 的損失值定義如下：
其中?，τ 是溫度參數(shù)。在本文的實(shí)驗(yàn)中將 τ 的值設(shè)置為 0.5。 ?用于正樣本。本文最大化?正樣本（即錨點(diǎn)和相鄰樣本）的表示之間的相似性。用于負(fù)樣本。同一個(gè)mini-batch中存在的其他 與當(dāng)前索引的anchor圖像 不對(duì)應(yīng)的圖像 被認(rèn)為是?負(fù)樣本。我們最大化該項(xiàng)以使其不同。
B. Smoothed Representation 平滑的表示
????????最大化錨點(diǎn)和一個(gè)相鄰圖像的表示之間的相似性可能會(huì)產(chǎn)生負(fù)面影響。原因是可以選擇 具有與錨圖像不同的結(jié)構(gòu)或?qū)ο蟮膱D像 作為相鄰圖像。我們相信，如果我們選擇多個(gè)相鄰補(bǔ)丁，我們可以減輕負(fù)面影響。因此，我們選擇了多個(gè)相鄰補(bǔ)丁并提出了一種基于多個(gè)相鄰補(bǔ)丁創(chuàng)建平滑的表示的方法，該方法可以減輕由錯(cuò)誤選擇正樣本引起的負(fù)面影響（見(jiàn)圖 3）。
????????在圖中，anchor 和 Group 0 中的三個(gè)相鄰圖像看起來(lái)很相似，這是一個(gè)幸運(yùn)的案例。在Group 1 中，其中一個(gè)相鄰圖像與錨圖像不同。錨圖像沒(méi)有建筑物，但一些建筑物顯示在三個(gè)相鄰圖像之一中。因此，本文聚合了基于多個(gè)相鄰圖像的多個(gè)表示，以緩解問(wèn)題
其中 hnk 是用相鄰圖像 nk 提取的表示， k ∈ {1, . . . K }，K 是相鄰圖像的數(shù)量。本文將此值設(shè)置為 3。本文的算法在算法 1 中給出。算法中的 tm 表示錨點(diǎn)和相鄰圖像的數(shù)據(jù)增強(qiáng)函數(shù)，其中 m ∈ {1, . . . K + 1}。
IV . EXPERIMENTS
A. 數(shù)據(jù)集
????????本文將兩個(gè)數(shù)據(jù)集（即 xView [16] 和 ImageNet [17]）用于前置任務(wù)，如表 I 所示。首先，ImageNet 數(shù)據(jù)集用于評(píng)估帶標(biāo)簽的監(jiān)督遷移學(xué)習(xí)設(shè)置。該數(shù)據(jù)集包含大約 120 萬(wàn)張訓(xùn)練圖像。對(duì)于遙感數(shù)據(jù)，本文使用了 xView 數(shù)據(jù)集，該數(shù)據(jù)集最初是為評(píng)估衛(wèi)星圖像中的目標(biāo)檢測(cè)算法而設(shè)計(jì)的。為了評(píng)估自監(jiān)督學(xué)習(xí)算法，本文處理了 xView 數(shù)據(jù)集，該數(shù)據(jù)集由 846 張圖像組成，從 WorldView-3 衛(wèi)星以 0.3 m 的分辨率拍攝。對(duì)于本文的實(shí)驗(yàn)，從 814 張圖像中隨機(jī)選擇錨圖像。其余圖像的像素值較小；因此，本文沒(méi)有使用這些圖像。本文從 814 張圖像中裁剪出 100 張錨圖像，總共獲得 81400 張圖像。本文還?裁剪了距離錨塊 100 像素以內(nèi)的三個(gè)相鄰塊。最后，獲得了 325600 個(gè)patches?。patches?大小為 50 × 50。遠(yuǎn)處的圖像從圓圈外裁剪，僅用于評(píng)估 Tile2Vec 算法。
? ? ? ? 本文為目標(biāo)任務(wù)使用了四個(gè)數(shù)據(jù)集（即 CDL、RESISC-45、UCMerced 和 EuroSAT）。這些數(shù)據(jù)集的目的是分類。表 I 顯示了類別數(shù)。 CDL 和 EuroSAT 數(shù)據(jù)集分別具有 50×50 和 64×64 的低分辨率圖像。相比之下，RESISC-45 和 UCMerced 數(shù)據(jù)集擁有 256×256 的高分辨率圖像。CDL 和 UCMerced 數(shù)據(jù)集的圖像數(shù)量明顯少于其他數(shù)據(jù)集；因此，本文希望他們能夠?通過(guò)自監(jiān)督學(xué)習(xí) 證明遷移學(xué)習(xí)的顯著有效性。
B. 實(shí)施
????????本文采用 TorchVision 庫(kù)中的 ResNet-50 架構(gòu) [21] 進(jìn)行所有實(shí)驗(yàn)。表 II 列出了每種方法的超參數(shù)。 lr、Opt.、Mo.、Mini 和 Reg。分別代表學(xué)習(xí)率、優(yōu)化器、動(dòng)量、小批量大小和權(quán)重衰減正則化。對(duì)于 MoCo v1 和 v2，初始學(xué)習(xí)率通過(guò)每 30 個(gè) epoch 乘以 0.1 來(lái)衰減。對(duì)于其他算法，本文沒(méi)有使用學(xué)習(xí)率衰減。此外，在Tile2V ec的原始源代碼中，初始學(xué)習(xí)率為0.001，沒(méi)有學(xué)習(xí)率衰減。相反，使用了 Adam 優(yōu)化器。對(duì)于基于 SimCLR 的方法中的投影頭，本文使用了兩個(gè)帶有 ReLU 和 1000 個(gè)節(jié)點(diǎn)的全連接層。
????????對(duì)于 CDL 分類測(cè)試，本文使用了與 scikit-learn 庫(kù) [23] 中提供的默認(rèn)值相同的超參數(shù)。 EuroSAT、RESISC45 和 UCMerced 的超參數(shù)設(shè)置如下。我們使用了 60 個(gè) epoch 和 64 個(gè) mini-batch size。初始學(xué)習(xí)率為 0.1，學(xué)習(xí)率每 20 個(gè) epoch 乘以 0.1 衰減。權(quán)重衰減參數(shù)為 0.0005。對(duì)于優(yōu)化器，我們使用動(dòng)量為 0.9 的隨機(jī)梯度下降 (SGD)。
????????與其他方法 [即 MoCo v1、MoCo v2 和 SimCLR (SJ)] 不同，本文提出的方法?沒(méi)有使用數(shù)據(jù)增強(qiáng)的尺度抖動(dòng)。本文實(shí)驗(yàn)中使用的所有算法包括用于數(shù)據(jù)增強(qiáng)的隨機(jī)灰度、顏色抖動(dòng)和隨機(jī)水平翻轉(zhuǎn)。除 ImageNet 實(shí)驗(yàn)外，前置任務(wù)的圖像大小為 50 × 50，因?yàn)榍爸脭?shù)據(jù)集中的裁剪塊大小為 50 × 50。本文使用 224 × 224 圖像進(jìn)行 ImageNet 實(shí)驗(yàn)。對(duì)于目標(biāo)任務(wù)，本文使用了 64 × 64 的圖像尺寸，這是目標(biāo)數(shù)據(jù)集中最小的尺寸，以在我們有限的資源下節(jié)省時(shí)間。
C. CDL 分類測(cè)試
?????????首先，本文使用前置任務(wù)數(shù)據(jù)集（例如 xView 和 ImageNet）訓(xùn)練了一個(gè)模型。我們使用編碼器從 CDL 數(shù)據(jù)集中提取特征。這些特征用作三個(gè)機(jī)器學(xué)習(xí)分類器的輸入，即隨機(jī)森林 (RF)、多層感知器 (MLP) 和邏輯回歸 (LR)。我們測(cè)量了目標(biāo)任務(wù)測(cè)試集的分類率。我們隨機(jī)選取CDL數(shù)據(jù)集圖片總數(shù)（1000張）的70%（700張）作為訓(xùn)練數(shù)據(jù)，其余的作為測(cè)試數(shù)據(jù)。該評(píng)估過(guò)程重復(fù) 100 次，并使用測(cè)試數(shù)據(jù)對(duì)分類率進(jìn)行平均。
?
????????實(shí)驗(yàn)結(jié)果列于表三。 “Supervised” 意味著在目標(biāo)任務(wù)數(shù)據(jù)集上使用 ImageNet 預(yù)訓(xùn)練模型進(jìn)行學(xué)習(xí)。本文的算法在最先進(jìn)的算法中顯示出最好的結(jié)果。表中的 SimCLR (SJ) 表示具有 尺度抖動(dòng) 數(shù)據(jù)增強(qiáng)的 SimCLR。本文算法的結(jié)果與使用 ImageNet 的預(yù)訓(xùn)練模型的結(jié)果相當(dāng)。使用RF分類器，分類率為66.45%，是三種分類器中最好的。結(jié)果優(yōu)于使用 ImageNet 數(shù)據(jù)集獲得的結(jié)果（例如，使用 LR 的結(jié)果為 66.17%）。此外，本文的算法不需要任何人工注釋成本。本文觀察到 ImageNet 預(yù)訓(xùn)練模型與基于自監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練模型 [例如，MoCo v1、MoCo v2 和 SimCLR (SJ)] 之間的差距并不大；因此，本文得出結(jié)論，域內(nèi)遷移學(xué)習(xí)可能對(duì) CDL 數(shù)據(jù)集有幫助。
D.微調(diào)測(cè)試
????????對(duì)于微調(diào)測(cè)試，本文針對(duì)目標(biāo)任務(wù)使用了三個(gè)數(shù)據(jù)集，即 RESISC-45、UCMerced 和 EuroSAT 數(shù)據(jù)集。本文使用所有這些數(shù)據(jù)集中圖像總數(shù)的 90% 進(jìn)行訓(xùn)練，其余用作測(cè)試數(shù)據(jù)。與CDL分類測(cè)試類似，我們也包含了 與ImageNet預(yù)訓(xùn)練模型的對(duì)比，從頭開(kāi)始訓(xùn)練提取的結(jié)果也包含在內(nèi)。使用每種方法預(yù)訓(xùn)練的權(quán)重參數(shù)用作目標(biāo)任務(wù)的初始權(quán)重，最后一個(gè)線性分類層除外。
?
????????結(jié)果列于表IV。 “Scratch”意味著 僅使用目標(biāo)任務(wù)數(shù)據(jù)集 從頭開(kāi)始學(xué)習(xí)。本文的方法平均顯示出最好的結(jié)果。特別是，本文的算法對(duì) RESISC-45 和 UCMerced 數(shù)據(jù)集有效。其他自監(jiān)督學(xué)習(xí)算法中準(zhǔn)確率最高的為 91.79%，而我們的方法達(dá)到了 92.42%。此外，ImageNet 預(yù)訓(xùn)練模型顯示出 94.1% 的準(zhǔn)確率。 ImageNet 預(yù)訓(xùn)練模型的準(zhǔn)確度與我們的方法之間存在大約 1.7% 的差距。
????????在 RESISC-45 數(shù)據(jù)集上，從頭開(kāi)始學(xué)習(xí)的結(jié)果（表 IV 中的“Scratch”）顯示出比 MoCo v1、Tile2Vec、SimCLR 和 SimCLR (SJ) 更好的分類率。這是因?yàn)?RESISC-45 數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)很大。同樣，在 EuroSAT 數(shù)據(jù)集上，從頭開(kāi)始學(xué)習(xí)也取得了不錯(cuò)的效果。因此，我們推測(cè)當(dāng)目標(biāo)訓(xùn)練數(shù)據(jù)的數(shù)量較少時(shí)，自監(jiān)督學(xué)習(xí)算法是有效的。
E. 線性分類測(cè)試
????????在線性分類測(cè)試中，本文使用編碼器作為特征提取器。添加了線性分類層。我們只更新了線性層，編碼器的權(quán)重參數(shù)被凍結(jié)。該測(cè)試程序測(cè)量了每種算法學(xué)習(xí)到的表示的質(zhì)量。選擇訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的方法與微調(diào)測(cè)試相同。線性分類任務(wù)的結(jié)果如表 V 所示。本文實(shí)現(xiàn)了 47.34% 的平均分類率。本文的算法在 EuroSA T 數(shù)據(jù)集上的表現(xiàn)大大優(yōu)于其他方法。然而，在 UCMerced 數(shù)據(jù)集上，本文的算法比 MoCo v1 和 SimCLR (SJ) 方法差。
????????ImageNet 預(yù)訓(xùn)練模型顯示出比自監(jiān)督學(xué)習(xí)方法更好的結(jié)果（平均 68.86%）。然而，使用自監(jiān)督學(xué)習(xí)算法獲得的結(jié)果明顯優(yōu)于從頭開(kāi)始學(xué)習(xí)的結(jié)果 (16.59%)。這證明了未標(biāo)記數(shù)據(jù)的有效性。此外，結(jié)果表明，scale jittering 尺度抖動(dòng)有效地提高了原始 SimCLR 的性能；然而，在本文的方法中使用相鄰圖像（不包括幾何數(shù)據(jù)增強(qiáng)技術(shù)）與其他方法相當(dāng)或更有效。
F . Discussion
?????????在本節(jié)中，介紹了本文方法的優(yōu)點(diǎn)和局限性。
優(yōu)點(diǎn)：
????????首先，多項(xiàng)實(shí)驗(yàn)表明，尺度抖動(dòng)可有效提高原始 SimCLR 的性能；然而，在本文的方法中使用 不包括幾何數(shù)據(jù)增強(qiáng)技術(shù)的相鄰圖像 具有可比性或更有效。此外，根據(jù)本文的實(shí)驗(yàn)結(jié)果，可以得出結(jié)論，當(dāng)在目標(biāo)任務(wù)中提供少量訓(xùn)練數(shù)據(jù)時(shí)，自監(jiān)督學(xué)習(xí)提供與 ImageNet 預(yù)訓(xùn)練模型相似或更好的準(zhǔn)確性。衛(wèi)星圖像和 ImageNet 之間的域差距可能需要在目標(biāo)域中有足夠數(shù)量的訓(xùn)練數(shù)據(jù)。
局限性：
????????盡管有這些優(yōu)點(diǎn)，但也有一些局限性。在微調(diào)測(cè)試中，所提出的算法在 RESISC-45 和 EuroSAT 數(shù)據(jù)集上沒(méi)有表現(xiàn)出比“Scratch”顯著的性能改進(jìn)。具體來(lái)說(shuō)，在 EuroSAT 數(shù)據(jù)集上，所提出方法的準(zhǔn)確性低于“Scratch”。 RESISC-45 和 EuroSAT 數(shù)據(jù)集包含的數(shù)據(jù)比 UCMerced 數(shù)據(jù)集多得多。因此，當(dāng)下游任務(wù)中的訓(xùn)練數(shù)據(jù)量足夠時(shí)，所提出的方法無(wú)效。這是尚待解決的問(wèn)題。
V. CONCLUSION
????????本文提出了一種對(duì)比自監(jiān)督學(xué)習(xí)方法，具有遙感平滑的表示。本文的技術(shù)使用基于 SimCLR 框架的對(duì)比損失來(lái)最大化從錨圖像和相鄰圖像中提取的特征之間的相似性。此外，它降低了從錨圖像中提取的特征與小批量中其他圖像的相似性。與其他算法相比，本文技術(shù)的改進(jìn)是因?yàn)槭褂枚鄠€(gè)相鄰圖像來(lái)增加訓(xùn)練數(shù)據(jù)的多樣性。為了整合從相鄰圖像中提取的特征，本文使用了平滑表示技術(shù)，可以減輕錯(cuò)誤選擇相鄰圖像的負(fù)面影響。與其他最先進(jìn)的自監(jiān)督學(xué)習(xí)方法相比，所提出的技術(shù)在 CDL 數(shù)據(jù)集的分類、微調(diào)和線性分類測(cè)試中表現(xiàn)出最佳性能。此外，在 CDL 分類測(cè)試中，本文們的方法在使用 RF 分類器時(shí)優(yōu)于 ImageNet 預(yù)訓(xùn)練模型。
總結(jié)
以上是生活随笔為你收集整理的【自监督论文阅读笔记】Contrastive Self-Supervised Learning With Smoothed Representation for Remote Sensing的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： android 车机ui设计,星越L车机
- 下一篇： 《转》mac 蓝牙不可用解决