基于模型的遷移學習可以簡單理解為就是基于模型參數的遷移學習，如何使我們構建的模型可以學習到域之間的通用知識。

1. 基于共享模型成分的遷移學習

在模型中添加先驗知識。

1.1 利用高斯過程的遷移學習

正態分布的概率函數的均值為

, 方差為 :

復習：如果一個隨機變量

服從這個分布，寫作 , 如果均值為0，方差為1，則簡化成：

設有標簽的數據集

，定義 隱變量 的高斯先驗：

. 是協方差函數，或者說核函數。接下來的事同樣也是構建似然函數，然后解答(借這個協方差矩陣)。

1.2 利用貝葉斯模型的知識遷移

顧名思義，還是逃不開貝葉斯的應用啊！

1.3 利用深度模型的模型遷移

知識蒸餾，也稱為軟標簽。在基于模型的遷移學習中，通過計算類別

所有源樣本的激勵函數的 平均值，可以提取類別 的軟標簽 . 基于軟標簽的類別間關系知識的損失定義如下：

到底軟標簽什么意思呢？其實很簡單，舉個例子我們的軟標簽

是一個 維向量，就是有 個類別，那么 水杯的類別可能就有：外觀，顏色，長度，價錢等等。我們計算每一個類別的輸出，經過softmax看一下那個權重占比是最大的。同樣地我們可以看看bottle和cup，chair輸出是多少，一對比就知道是杯子與瓶子更貼近。

2. 基于正則化的遷移

如何通過正則化來對共享知識進行遷移？

模型中標準的正則化形式：

這個式子表明該正則化使用正則權重 正則化 . 其中 . 利用任務間的不變特征(模型遷移學習中被遷移的部分、源域模型中的任務無關參數)，提高目標模型的泛化性能。

2.1 基于SVM的正則化

俠肝義膽陳浩天：SVM原理簡單推導?zhuanlan.zhihu.com

在此基礎上加上正則項進行優化。

2.3 Fine tune

往期文章：

俠肝義膽陳浩天：《遷移學習》第二章總結---基于樣本的遷移學習

俠肝義膽陳浩天：《遷移學習》第三章總結---基于特征的遷移學習

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的平潭迁移库是什么意思_迁移学习》第四章总结---基于模型的迁移学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。