前言

? ? ? ? CNN刷分ImageNet以來，遷移學(xué)習(xí)已經(jīng)得到廣泛的應(yīng)用，不過使用ImageNet預(yù)訓(xùn)練模型遷移到特定數(shù)據(jù)集是一個(gè)全集到子集的遷移，不是標(biāo)準(zhǔn)定義的遷移學(xué)習(xí)（模型遷移），而是“模型移動(dòng)”。若對(duì)網(wǎng)絡(luò)結(jié)構(gòu)不加修改地進(jìn)行運(yùn)用，則只是一個(gè)參數(shù)調(diào)優(yōu)的過程。

? ? ? ? 遷移學(xué)習(xí)（Transfer Learning,TL）對(duì)于人類來說，就是掌握舉一反三的學(xué)習(xí)能力。比如我們學(xué)會(huì)騎自行車后，學(xué)騎摩托車就很簡(jiǎn)單了；在學(xué)會(huì)打羽毛球之后，再學(xué)打網(wǎng)球也就沒那么難了。對(duì)于計(jì)算機(jī)而言，所謂遷移學(xué)習(xí)，就是能讓現(xiàn)有的模型算法稍加調(diào)整即可應(yīng)用于一個(gè)新的領(lǐng)域和功能的一項(xiàng)技術(shù)。

? ? ? ? 從定義上看來，遷移學(xué)習(xí)為特定模型的定義域遷移。舉一反三有一個(gè)基本的要求，即是自然數(shù)是遞歸系統(tǒng)，自然數(shù)對(duì)加法運(yùn)算形成一個(gè)半群。這就引發(fā)遷移學(xué)習(xí)的必然要求，在某個(gè)層面具有特定的相似性。 參考：一文讀懂遷移學(xué)習(xí)。

?

遷移學(xué)習(xí)，對(duì)應(yīng)了模型的初始化問題。

• 對(duì)于局部極值的問題，nature綜述中，三個(gè)大牛作者的說法是：對(duì)于深度網(wǎng)絡(luò)來說，局部極值從來都不是一個(gè)問題，從任意的初始參數(shù)值開始訓(xùn)練網(wǎng)絡(luò)，最后都能達(dá)到相似的分類效果。這也是被最近的理論和實(shí)踐所證明的。但是從隨機(jī)初始化到最優(yōu)解，有可能需要不可負(fù)擔(dān)的算力成本和時(shí)間成本。

? ? ? ? 遷移學(xué)習(xí)的一個(gè)重要結(jié)果為，使深度學(xué)習(xí)從無監(jiān)督預(yù)訓(xùn)練到僅使用有監(jiān)督訓(xùn)練，使深度監(jiān)督學(xué)習(xí)變得有效且被廣泛使用，參考：DeepLearning系列15-有監(jiān)督和無監(jiān)督訓(xùn)練。Andrew NG的教程是06年到12年之間的產(chǎn)物，當(dāng)時(shí)無監(jiān)督訓(xùn)練是主流，Li feifei的CNN教程和caffe官網(wǎng)的教程是產(chǎn)生于12年之后，這時(shí)數(shù)據(jù)庫足夠大（上千萬級(jí)別），模型足夠先進(jìn)（ReLU激活函數(shù)，dropout等等），同時(shí)計(jì)算速度足夠快（GPU加速），使得無監(jiān)督預(yù)訓(xùn)練（自編碼神經(jīng)網(wǎng)絡(luò)）在很多應(yīng)用場(chǎng)景中失去了存在的價(jià)值，有監(jiān)督訓(xùn)練已足夠完成任務(wù)。更重要的一點(diǎn)是遷移學(xué)習(xí)的使用，通過不斷的定義域遷移，從minist到iris、cifar10、ImageNet、再到各類專業(yè)領(lǐng)域數(shù)據(jù)集，逐步對(duì)模型的少量修改最終演化出各個(gè)領(lǐng)域較優(yōu)的深度模型，推動(dòng)了深度學(xué)習(xí)的巨大發(fā)展。

? ? ? ? 遷移學(xué)習(xí)的極端情況為一次學(xué)習(xí)和零次學(xué)習(xí)，分別對(duì)應(yīng)只有一個(gè)新樣本的學(xué)習(xí)和沒有任何新數(shù)據(jù)（僅提供幾種簡(jiǎn)單的屬性描述和屬性值定義域的描述）的學(xué)習(xí)。

? ? ? ? CVPR2018論文：Taskonomy: Disentangling Task Transfer Learning；

?

遷移學(xué)習(xí)的基本方法/表象

• 樣本遷移（Instance based TL）

在源域中找到與目標(biāo)域相似的數(shù)據(jù)，把這個(gè)數(shù)據(jù)的權(quán)值進(jìn)行調(diào)整，使得新的數(shù)據(jù)與目標(biāo)域的數(shù)據(jù)進(jìn)行匹配。下圖的例子就是找到源域的例子3，然后加重該樣本的權(quán)值，使得在預(yù)測(cè)目標(biāo)域時(shí)的比重加大。優(yōu)點(diǎn)是方法簡(jiǎn)單，實(shí)現(xiàn)容易。缺點(diǎn)在于權(quán)重的選擇與相似度的度量依賴經(jīng)驗(yàn)，且源域與目標(biāo)域的數(shù)據(jù)分布往往不同。

樣本遷移的假設(shè)為樣本空間的近似或者包含特性。模型并沒有遷移，而只是“移動(dòng)”。

• 特征遷移（Feature based TL）

假設(shè)源域和目標(biāo)域含有一些共同的交叉特征，通過特征變換，將源域和目標(biāo)域的特征變換到相同空間，使得該空間中源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)具有相同分布的數(shù)據(jù)分布，然后進(jìn)行傳統(tǒng)的機(jī)器學(xué)習(xí)。優(yōu)點(diǎn)是對(duì)大多數(shù)方法適用，效果較好。缺點(diǎn)在于難于求解，容易發(fā)生過適配。

• 模型遷移（Parameter based TL）

假設(shè)源域和目標(biāo)域共享模型參數(shù)，是指將之前在源域中通過大量數(shù)據(jù)訓(xùn)練好的模型應(yīng)用到目標(biāo)域上進(jìn)行預(yù)測(cè)，比如利用上千萬的圖象來訓(xùn)練好一個(gè)圖象識(shí)別的系統(tǒng)，當(dāng)我們遇到一個(gè)新的圖象領(lǐng)域問題的時(shí)候，就不用再去找?guī)浊f個(gè)圖象來訓(xùn)練了，只需把原來訓(xùn)練好的模型遷移到新的領(lǐng)域，在新的領(lǐng)域往往只需幾萬張圖片就夠，同樣可以得到很高的精度。優(yōu)點(diǎn)是可以充分利用模型之間存在的相似性。缺點(diǎn)在于模型參數(shù)不易收斂。

• 關(guān)系遷移（Relation based TL）

  假設(shè)兩個(gè)域是相似的，那么它們之間會(huì)共享某種相似關(guān)系，將源域中邏輯網(wǎng)絡(luò)關(guān)系應(yīng)用到目標(biāo)域上來進(jìn)行遷移，比方說生物病毒傳播到計(jì)算機(jī)病毒傳播的遷移。

?

數(shù)學(xué)定義要求

定義域遷移：

? ? ? ? ?遷移學(xué)習(xí)的直接定義為特定模型的定義域遷移。這就要求新的定義域與模型的定義域結(jié)構(gòu)相近，即模型大致可以描述新的數(shù)據(jù)集的結(jié)構(gòu)，如圖中的兩類定義域有大面積的交叉。此種形式為模型的假設(shè)空間-形式空間不曾改變，即未改變模型的超參數(shù)，而模型的參數(shù)空間發(fā)生變化，即模型的泛函定義域產(chǎn)生了一些變化。

? ? ? ? ?大量的CNN模型應(yīng)用使用了遷移方法。使用ImageNet的預(yù)訓(xùn)練模型應(yīng)用于特定領(lǐng)域，并未改變CNN的結(jié)構(gòu)，只使用新定義域樣本進(jìn)行了模型調(diào)優(yōu)。或者在一個(gè)已理論或?qū)嶒?yàn)證明的較優(yōu)結(jié)構(gòu)上，進(jìn)行少量的新樣本混合，直接可以訓(xùn)練原始模型。

?

高層特征提取：

? ? ? ? 特征遷移，在兩類不同的定義域上，可能定義域空間完全不重合，而直覺上有相似的特定高層特征，因此可以使用特定的特征遷移模型。比如貓狗識(shí)別模型和豹構(gòu)識(shí)別模型。

? ? ? ? ?方法通過特征變化，把一個(gè)特征空間變化到另一個(gè)特征空間，對(duì)應(yīng)了修改CNN的底層，修改了模型。在數(shù)學(xué)上相當(dāng)于重構(gòu)泛函形式的過程，把新的泛函形式映射到模型的泛函形式空間。

? ? ? ?參考：什么是One-Shot Learning？Discriminative Learning of Latent Features for Zero-Shot Recognition.?Zero-short learning 就是用來解決識(shí)別我們的訓(xùn)練樣本中從沒就沒有出現(xiàn)過的樣本。但是，雖然訓(xùn)練樣本中從來沒有出現(xiàn)過該樣本，但是卻有類似的樣本出現(xiàn)過。

? ? ? ?

? ? ? ?感性認(rèn)識(shí)的話，雖然我們不知道這東西叫鴨嘴獸，但是我們可以說出他和誰誰誰像。

剝離高層特征：

? ? ? ? 模型遷移，在相近的兩個(gè)定義域內(nèi)，通常具有相似的底層特征，可以使用抽象高層特征的模型遷移。

? ? ? ? ?在CNN領(lǐng)域，標(biāo)示為特定的CNN模型可以不加修改的直接使用前幾層的特征提取層，而僅對(duì)后幾層的網(wǎng)絡(luò)進(jìn)行超參數(shù)尋優(yōu)和參數(shù)調(diào)優(yōu)。對(duì)應(yīng)修改了CNN模型的高層，修改了模型。

? ? ? ? 比如在一個(gè)固定的證明檢測(cè)貓的多層CNN模型中，可以對(duì)此CNN模型做少量修改和訓(xùn)練即使用。通過近修改后幾層的結(jié)構(gòu)，并對(duì)新模型進(jìn)行相對(duì)少量新樣本的訓(xùn)練，即可以完成從識(shí)別“波斯貓”到識(shí)別“新加坡貓”的遷移。

?

關(guān)系遷移

? ? ? ?關(guān)系遷移的要求是兩類定義具有相似的或者同構(gòu)的關(guān)系，即兩類數(shù)據(jù)通過不同的特征抽象，可以通過相似的邏輯進(jìn)行描述。

?

總結(jié)：

? ? ? ?基本的遷移模型為模型的完全遷移，基于定義域具有相似的特征，僅通過改變模型的參數(shù)，使用新的數(shù)據(jù)集訓(xùn)練原始模型即可。模型遷移基于不同的定義域具有相似的底層特征，近做模型頂層的修改，使用新的數(shù)據(jù)集訓(xùn)練頂層模型。特征遷移基于不同的定義域具有相似的高層特征，對(duì)原始模型添加新的底層映射，使用新的數(shù)據(jù)集訓(xùn)練模型底層；關(guān)系遷移基于不同的定義域具有相似的邏輯關(guān)系，可遷移的為模型的邏輯層，僅需要對(duì)模型的前期特征提取進(jìn)行訓(xùn)練即可。

?

其他

2. 遷移學(xué)習(xí)的一般化定義

條件：給定一個(gè)源域Ds和源域上的學(xué)習(xí)任務(wù)Ts，目標(biāo)域Dt和目標(biāo)域上的學(xué)習(xí)任務(wù)Tt

目標(biāo)：用Ds和Ts學(xué)習(xí)目標(biāo)域上的預(yù)測(cè)函數(shù)f（·）

限制條件：Ds≠Dt，Ts≠Tt

3 遷移學(xué)習(xí)的分類?3.1 按特征空間分

同構(gòu)遷移學(xué)習(xí)（Homogeneous TL）: 源域和目標(biāo)域的特征空間相同，XS=XT

異構(gòu)遷移學(xué)習(xí)（Heterogeneous TL）：源域和目標(biāo)域的特征空間不同，XS≠XT

3.2 按遷移情景分

歸納式遷移學(xué)習(xí)（Inductive TL）：源域和目標(biāo)域的學(xué)習(xí)任務(wù)不同

直推式遷移學(xué)習(xí)（Transductive TL):源域和目標(biāo)域不同，學(xué)習(xí)任務(wù)相同

無監(jiān)督遷移學(xué)習(xí)（Unsupervised TL):源域和目標(biāo)域均沒有標(biāo)簽

遷移學(xué)習(xí)工具包

[Boosting for Transfer Learning] (http://www.cse.ust.hk/TL/code/C_TraDaBoost.rar), Wenyuan Dai，Qiang Yang, et al., C語言

[Selective Transfer Between Learning Tasks Using Task-Based Boosting] (http://cs.brynmawr.edu/~eeaton/TransferBoost/TransferBoostExp.java), Eric Eaton and Marie desJardins, Java

[Domain Adaptation in Natural Language Processing] (http://www.mysmu.edu/faculty/jingjiang/software/DALR.html), Jiang Jiang,C++

[Triplex Transfer Learning: Exploiting both Shared and Distinct Concepts for Text Classification] (http://www.intsci.ac.cn/users/zhuangfuzhen/code&data_TriTL.rar), Fuzhen Zhuang , Ping Luo, et al.,Matlab

[Heterogeneous Transfer Learning for Image Classification] (http://www.cse.ust.hk/~yinz/htl4ic.zip), Yin Zhu, Yuqiang Chen, et al.,Matlab

[Domain Adaptation Toolbox] (https://github.com/viggin/domain-adaptation-toolbox), Ke Yan,Matlab

9. 參考資料

2017香港科技大學(xué)楊強(qiáng)機(jī)器之心GMIS峰會(huì)演講

2016香港科技大學(xué)楊強(qiáng)KDD China技術(shù)峰會(huì)演講Sinno Jialin Pan and Qiang Yang, A survey on transfer learningKarl Weiss, Taghi M. Khoshgoftaar and DingDing Wang, A survey of transfer learning龍明盛，遷移學(xué)習(xí)問題與方法研究

注：上文部分圖片摘自以上參考資料

總結(jié)

以上是生活随笔為你收集整理的EnforceLearning：迁移学习-监督训练与非监督训练的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。