文章題目

• 等待讀的論文
• 1 Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation AAAI2021
• 2 Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations CVPR2020
• 3 Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation ICCV2019
• 4 Geodesic flow kernel for unsupervised domain adaptation
• 5 Maximum classifier discrepancy for unsupervised domain adaptation
• 6 Deep coral: Correlationalignment for deep domain adaptatio & return of frustratingly easy domain adaptation
• 7 Deep domain confusion: Maximizing for domain invariance
• 8 How transferable are features in deep neural network
• 9 Stochastic Classifiers for Unsupervised DomainAdaptation
• 10 Multi-representation adaptation network for cross-domain image classification[J]. Neural Networks, 2019, 119: 214-221
• 11Domain Conditioned Adaptation Network
• 12Transfer-ability vs. discriminability: Batch spectral penalization foradversarial domain adaptation

等待讀的論文

1 MinimumClass Confusion for Versatile Domain Adaptation

1 Bi-Classifier Determinacy Maximization for Unsupervised Domain Adaptation AAAI2021

網絡湖面跟著兩個分類器，C1 和 C2，對于同一個樣本的預測概率，除了在真實樣本的位置上的概率要大，其他的部分的概率最好是盡量要差異大寫一些，這樣的話可以保證兩個分類器的輸出存在較大差異。

2 Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations CVPR2020

對分類器的概率輸出，使用了矩陣角度的考量，對其進行優化。從兩個目的進行了優化，分別是：

判別性

所謂判別性，指的是預測類別的過程是否堅定。比如對于二類問題的響應

[0.9,0.1]判別性較高， [0.6,0.4]判別性較低。

常見的方法采用最小化熵來得到較高的判別性。我們發現矩陣A的F范數與熵有著相反的單調性，從而可以通過最大化A的F范數來提升判別性。
多樣性
多樣性可以近似表達為批量矩陣中預測的類別數量，即預測的類別數量多則響應多樣性大。
考慮不同類別響應的線性相關性，如果兩個響應屬于不同類別，那么響應會差別較大線性無關，如果屬于相同類別則近似線性相關。

[0.9,0.1]與[0.1,0.9]線性無關， [0.9,0.1]與[0.8,0.2]近似線性相關。

那么預測類別數也就是矩陣中最大的線性無關向量數，即矩陣的秩。

3 Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation ICCV2019

這篇文章的出發點是解決數據分布的差異性，但是卻從二范數的角度進行的推理分析，將源域和目標域的特征的二范數規范的足夠大，便能夠解決遷移后的性能下降問題。文章的亮點是揭示了DA問題的本質是特征范數（文章自己說的），而不是從特征的整體分布上進行對其。文章為了讓范數逐漸變大，采用了逐步增大特征范數的方法，而不是給范數設定了一個固定的值。

4 Geodesic flow kernel for unsupervised domain adaptation

GFK 這個論文，介紹了如何將源域特征映射到目標域，使用的方法是先尋找到一條測地線路徑，然后將源域順著這個路徑光滑地走過來，用到了積分，而不是選定了幾個點，分為幾個步驟走過來。有提一個知乎的文章講的很好：https://zhuanlan.zhihu.com/p/27782708

5 Maximum classifier discrepancy for unsupervised domain adaptation

這篇文章的思想還是沒能很好地理解
這篇文章設置了兩個不同的分類器，使用了對抗方法，在利用源域數據訓練了generator和兩個classifier的基礎上，在使用target數據的時候，一方面是在固定genarator的基礎上，更新兩個分類器的參數，使得classifier 1和2對同一個目標樣本的差異盡量的大，另一方面是在固定了兩個分類器的情況下，更新generator，使得generator的輸出能夠使得兩個分類器產生相同的輸出。在衡量分類器的輸出差異性上面，采用的是絕對值損失。
整個算法過程分為三步：
（A） 利用源域數據訓練 G C1 C2
（B）對于一個target 樣本的輸入，固定G，更新C1 和C2， 目標是增大C1和C2 的輸出之間的差異
（C）對于一個target 樣本的輸入，固定C1 和C2，更新G， 目標是減小C1和C2 的輸出之間的差異

這個對抗過程，和將源域與目標域區相混淆的對抗生成很相似，只不過是之前的那種是為了使得G出來的特征源域和目標域是一致的，這篇文章的目的是使得G出來的特征還是沒想好怎么解釋，怎么理解

6 Deep coral: Correlationalignment for deep domain adaptatio & return of frustratingly easy domain adaptation

這兩篇文章都是在協方差矩陣上，讓源域特征和目標域特征進行對齊操作，這里面一個有意思的地方是如何計算協方差矩陣。

7 Deep domain confusion: Maximizing for domain invariance

這篇文章最先將MMD應用到DA領域，相當于開山鼻祖了。

8 How transferable are features in deep neural network

這篇文章是對網絡結構的細致分析，說是在網絡的前幾層，基本上所有任務的參數都很相似，就是一個通用的參數，相當于一個過濾器，在網絡后面的參數則是和特定任務和特定的訓練集相關了。這篇文章探討了從那一層開始，是從通用到特定任務的轉換。
這個文章中涉及到了如何設置實驗來驗證哪些層是提取通用特征，那些層是特定于任務的。

9 Stochastic Classifiers for Unsupervised DomainAdaptation

這個文章是在MCD的基礎上進行的討論，說的是分類器越多，性能越好，那么可以設置無窮多個分類器嗎？顯然是不行的，因為參數量太大。那么本文就是提出了一個隨機分類器的思想，之前的分類器是由一個個向量構成的，這篇文章中將分類器中的參數看成一個分布，在訓練的過程中是對這個分布進行的優化。文中的思想，重點是在下面這段話。

10 Multi-representation adaptation network for cross-domain image classification[J]. Neural Networks, 2019, 119: 214-221

這篇文章在多個表征空間中進行域適應，不同于以往的只是針對一個樣本的單個特征進行域適應，這個文章中會對一個樣本提取多個特征，然后分別進行域適應，最后將所有的特征進行concat

11Domain Conditioned Adaptation Network

兩點motivation
（1）在開始的幾層，卷積層既要學習不同數據中的知識，也要學習domain-specific的知識
（2）在task-specifc 層中，將源域和目標域對齊
針對第一點，文章提出了DCAN，其實就是類似于基于channel的注意力機制，將每個通道進行GAP，然后將形成的向量通過FC層，最終將得到的向量和原來的特征MAP進行一個相乘
針對第二點，文章將task-specific層的特征又過了兩個FC層，對于target數據而言，將經過兩個FC得到的特征作為補償特征與原始特征相加，相加后得到的特征再與src的特征進行MMD優化。此外，一個假設是當源域也經過該FC后得到的特征應當是不變的，為了保證這個不變性，文章抽取了子集與進行不變性的學習。

12Transfer-ability vs. discriminability: Batch spectral penalization foradversarial domain adaptation

這篇文章從奇異值的角度出發，提升域適應的性能。這篇文章提到了兩個內容，分別是transferability和discriminability，也就是遷移能力和區分性能力。
文章得出的結論是將特征矩陣進行奇異值分解后，較大的奇異值是起到了保證transferability的能力，較小的奇異值保證了discriminability的能力，文章提出的將較大的一些奇異值進行正則化的方法，提升了域適應問題的表現性能。
文章的代碼在這了：https://github.com/thuml/Batch-Spectral-Penalization

總結

以上是生活随笔為你收集整理的domain adaptation论文记录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。