?PaperWeekly?·?作者｜康國梁

學校｜卡內基梅隆大學博士后

研究方向｜深度學習、領域自適應、語義分割

論文標題：

Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation

論文作者：

Guoliang Kang, Yunchao Wei, Yi Yang, Yueting Zhuang, Alexander Hauptmann

論文鏈接：

https://papers.nips.cc/paper/2020/file/243be2818a23c980ad664f30f48e5d19-Paper.pdf

語義分割近年來獲得非常大的進步和發展。但是當分割網絡執行跨域（cross-domain）預測任務時，性能還遠不能令人滿意。例如，分割網絡在易于獲得標注的 synthetic data 上訓練，在真實場景圖片上進行分類，性能會發生大幅下跌。

這種性能下降是由于目標域（target domain）和源域（source domain）圖片的分布（風格，布局，等）不同所造成的。領域自適應語義分割（Domain Adaptive Semantic Segmentation）就是利用帶標注的源域數據和無標注的目標域數據來減小或者消除域漂移（domain shift）帶來的性能損失。

動機

對于領域自適應語義分割，以前的方法通常基于 adversarial training，讓圖片或者 feature map 在不同 domain 之間變得不可區分。但是這些方法更多地關注全局或者整體的相似度，忽略了域內和域間的像素間關系，盡管能夠在一定程度上消除域差異，其導致的 feature 并不具備非常好的辨別性，因而影響分類性能。這篇論文充分利用像素間的相似度來消除域差異，同時提高 feature 的辨別性。

方法

2.1 Pixel-Level Cycle Association

如上圖所示，對于隨機采樣的 source 和 target 圖片，我們首先建立他們像素級別的關聯。我們利用像素級別的循環一致性（pixel-level cycle consistency）來建立這種關聯。

具體來說，對于任一 source 圖片中的像素 S1，我們在 target 圖片中選擇與之相似度最高的像素 T。然后，對于選擇的 target 像素 T，我們反過來選擇與之最接近的 source 圖片中的像素 S2。如果 S1 和 S2 屬于同一個類別，我們則建立 S1--> T --> S2 的關聯，否則，關聯不成立。

對于建立起關聯的像素，我們 contrastively 增強他們之間（S1--> T 和 T--> S2）的聯系。我們通過 minimize 如下 loss 來實現這一目的（ 對應于 S1， 對應于 T， 對應于 S2）：

其中， 表示建立起循環關聯的起始 source 像素點集合。 代表像素 feature 的相似度，這里采用 cosine similarity。

簡而言之，就是讓關聯的 source 和 target 像素對的相似度相比于其他可能的像素對更高。

2.2 Gradient Diffusion via Spatial Aggregation

通過循環關聯，我們可以建立 source 和 target 像素之間的聯系。但是，通常只有部分 target 像素可以和 source 像素成功地建立起關聯。原因有兩個，一是循環關聯傾向于選擇最容易關聯到的 target 像素；二是由于域差異，對于當前 source 圖片的部分像素，target image 中在本質上可能就不存在應該與之關聯的像素。

為了給更多樣化的 target 像素提供 supervision，對每個 target 像素點，我們采取 spatial aggregation 生成新的 feature，然后基于 aggregated feature 建立循環關聯，如下圖所示。

通過這種方式，在 backward 的過程中，每個關聯到的 target 像素點作為 seed 把傳遞給它的 gradients “分發給” 圖片中的其他像素，其大小取決于其他像素點和 seed 像素點之間的相似度。

2.3 Multi-Level Cycle Association

除了在 feature 層建立和增強循環關聯以外，我們還在分割網絡預測的像素的 probability distribution 上建立循環關聯。方法跟在 feature 上的做法一樣。唯一不同的是，我們采取負的 Kullback-Leibler (KL) divergence 作為相似度度量, 即

對應的 loss 為：

2.4 Objective

除了 association loss，我們最后的 objective 還包括 cross-entropy loss，lovász-softmax loss， adaptive 的 Linear Smooth Regularization（LSR）loss。

其中，lovász-softmax loss 用來緩解 class imbalance 的影響，LSR 用來促進 smooth 的 prediction，以便于利用類間的關系建立起關聯。

對于 Objective，我在這里不多做贅述，感興趣的小伙伴可以去看我們的 paper。

實驗結果

我們在 GTAV→Cityscapes 和 SYNTHIA→Cityscapes 上驗證了我們方法的有效性。

Ablation study:

其中，“Sim-PLCA”指的是直接增強關聯像素對相似度的方式，“PLCA w/o. SAGG”指的是不采用 spatial aggregation 建立關聯。

同之前方法的比較:

詳細的實驗結果和分析，感興趣的小伙伴可以去看我們的 paper。

?

本文提出的方法在跨域語義分割方面，取得了不錯的結果。我們相信，本文的方法可以延伸到其他相關領域，比如說 weakly-supervised learning, unsupervised feature learning 等。

?

更多閱讀

?

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的NeurIPS 2020 | 利用像素级别循环一致性解决领域自适应语义分割问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。