1.前言

在面對某一領域的具體問題時，通常可能無法得到構建模型所需規模的數據。然而在一個模型訓練任務中針對某種類型數據獲得的關系也可以輕松地應用于同一領域的不同問題。這種技術也叫做遷移學習（Transfer Learning）。

Qiang Yang、Sinno Jialin Pan，“A Survey on Transfer Learning”，IEEE Transactions on Knowledge & Data Engineering，vol. 22, no. , pp. 1345–1359, October 2010, doi:10.1109/TKDE.2009.191

2.區分監督學習、半監督學習、遷移學習、自我學習

舉一個經典的例子，分離大象和犀牛。

對于監督學習，我們手頭有大量大象的樣本和犀牛的樣本，接下來訓練分類器，進行分類，大家都知道的。

對于遷移學習，則是指我們手頭上有大量羊的樣本和馬的樣本（已標記），少量的大象和犀牛的樣本，接下來就要從羊和馬的樣本中選出有效的樣本分別加入到大象和犀牛的標記樣本中，然后再用監督學習的方法訓練分類器。

對于半監督學習，則是手上僅有少量大象和犀牛的已標記樣本，另外有一堆大象和犀牛沒有標記的數據（注意它們中要么是大象要么是犀牛，沒有其他物種）。半監督學習就是利用這些樣本訓練分類器，實現分類。

對于自我學習，同樣是手上僅有少量大象和犀牛的已標記樣本，另外有一大堆自然圖像。所謂自然圖像，就是有大象和犀牛的圖片，還有各種其他物種的圖片。自我學習比半監督學習更適合實際場景-----哪有一堆只有大象和犀牛的圖片給你呢？而自然圖像的來源更加廣泛，可以從互聯網上隨便下載。

3.遷移學習

借助遷移學習技術，我們可以直接使用預訓練過的模型，這種模型已經通過大量容易獲得的數據集進行過訓練（雖然是針對完全不同的任務進行訓練的，但輸入的內容完全相同，只不過輸出的結果不同）。 隨后從中找出輸出結果可重用的層。我們可以使用這些層的輸出結果充當輸入，進而訓練出一個所需參數的數量更少，規模也更小的網絡。這個小規模網絡只需要了解特定問題的內部關系，同時已經通過預培訓模型學習過數據中蘊含的模式。通過這種方式，即可將經過訓練檢測貓咪的模型重新用于再現梵高的畫作。
遷移學習技術的另一個重大收益在于可以對模型進行完善的“通用化”。大型模型往往會與數據過度擬合（Overfit），例如建模所用數據量遠遠超過隱含的現象數量，在處理未曾見過的數據時效果可能不如測試時那么好。由于遷移學習可以讓模型看到不同類型的數據，因此可以習得更出色的底層規則。

4.遷移學習的真實案例

4.1圖像識別

4.2對象檢測

4.3文字識別

遷移學習實現過程中的難點:
雖然可以用更少量的數據訓練模型，但該技術的運用有著更高的技能要求。只需要看看上述例子中硬編碼參數的數量，并設想一下要在模型訓練完成前不斷調整這些參數，遷移學習技術使用的難度之大可想而知。
遷移學習技術目前面臨的問題包括：

• 找到預訓練所需的大規模數據集
• 決定用來預訓練的模型
• 兩種模型中任何一種無法按照預期工作都將比較難以調試
• 不確定為了訓練模型還需要額外準備多少數據
• 使用預訓練模型時難以決定在哪里停止
• 在預訓練模型的基礎上，確定模型所需層和參數的數量
• 托管并提供組合后的模型
• 當出現更多數據或更好的技術后，對預訓練模型進行更新

總結

以上是生活随笔為你收集整理的新兴机器学习算法：迁移学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。