大家好，歡迎來到我們的星球知識小卡片專欄，本期給大家分享模型蒸餾的核心技術點。

作者&編輯 | 言有三

1 什么是模型蒸餾

一般地，大模型往往是單個復雜網絡或者是若干網絡的集合，擁有良好的性能和泛化能力，而小模型因為網絡規模較小，表達能力有限。利用大模型學習到的知識去指導小模型訓練，使得小模型具有與大模型相當的性能，但是參數數量大幅降低，從而可以實現模型壓縮與加速，就是知識蒸餾與遷移學習在模型優化中的應用。

Hinton等人最早在文章“Distilling the knowledge in a neural network”中提出了知識蒸餾這個概念，其核心思想是一旦復雜網絡模型訓練完成，便可以用另一種訓練方法從復雜模型中提取出來更小的模型，因此知識蒸餾框架通常包含了一個大模型(被稱為teacher模型)，和一個小模型(被稱為student模型)。

2?優化目標驅動的知識蒸餾框架

Hinton等人提出的框架是在模型最后的預測端，讓student模型學習到與teacher模型的知識，這可以稱之為直接使用優化目標進行驅動的框架，也是最簡單最直接的框架，它不關心中間的學習過程，類似的還有ProjectionNet等。

3?特征匹配的知識蒸餾框架

目標驅動型的知識蒸餾框架的具體細節是難以控制的，會讓訓練變得不穩定且緩慢。一種更直觀的方式是將teacher模型和student模型的特征進行約束，從而保證student模型確實繼承了teacher模型的知識，其中一個典型代表就是FitNets，FitNets將比較淺而寬的Teacher模型的知識遷移到更窄更深的Student模型上。

4 沒有教師模型的知識蒸餾

一般知識蒸餾框架都需要包括一個Teacher模型和一個Student模型，而Deep mutual learning則沒有Teacher模型，它通過多個小模型進行協同訓練，這也是非常有研究意義的方向。

5 與其他框架的結合

在進行知識蒸餾時，我們通常假設teacher模型有更好的性能，而student模型是一個壓縮版的模型，這不就是模型壓縮嗎？與模型剪枝，量化前后的模型對比是一樣的。所以知識蒸餾也被用于與相關技術進行結合，apprentice框架是一個代表。

6 其他

總的來說，模型蒸餾有非常多的研究方向，包括：

(1) 優化目標驅動的知識蒸餾框架拓展。

(2) 基于特征匹配的知識蒸餾框架拓展。

(3) 不壓縮模型，甚至訓練更大模型的框架。

(4) 無教師模型的框架。

(5) 自動搜索的框架。

(6) 與其他模型壓縮技術的結合。

(7) 其他。

以上內容，如果你不想自己學習，可以去我們知識星球的網絡結構1000變板塊—模型蒸餾板塊閱讀。

有三AI知識星球

知識星球是有三AI的付費內容社區，里面包括各領域的模型學習，數據集下載，公眾號的付費圖文原稿，技術總結PPT和視頻，知識問答，書籍下載，項目推薦，線下活動等資源，了解詳細請閱讀以下文章：

【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？

【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！

轉載文章請后臺聯系

侵權必究

往期精選

• 【星球知識卡片】殘差網絡家族10多個變種學習卡片，請收下！

• 【星球知識卡片】移動端高效率的分組網絡都發展到什么程度了？

• 【星球知識卡片】注意力機制發展如何了，如何學習它在各類任務中的應用？

• 【星球知識卡片】模型剪枝有哪些關鍵技術，如何對其進行長期深入學習

• 【星球知識卡片】模型量化的核心技術點有哪些，如何對其進行長期深入學習

總結

以上是生活随笔為你收集整理的【星球知识卡片】模型蒸馏的核心技术点有哪些，如何对其进行长期深入学习...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。