Explaining Knowledge Distillation by Quantifying the Knowledge

本文核心idea是利用熵衡量feature中蘊含的knowledge，并將其量化。

首先有個概念叫 visual concept, which is defined as an image region, whose information is significantly less discarded and is mainly used by the DNN.

熵的計算公式如下，信息論中用來衡量包含的信息：

本文直接對input（這里有點沒理解，直接對input image計算？）計算熵。
對于一個input，可以先找到一個滿足獨立高斯分布的x·，使得在某一中間層上f(x)與f(x·)非常接近：

由于獨立高斯分布的特性，可以將熵分解成n個像素對應熵的求和：

對于已知的分別由灰色和白色對應的fg、bg，如下圖，需要分別找出其中的視覺關注區域：

考慮到不同像素上的熵是不一樣的，一個圖片上的“知識點”被定義為那些信息熵比較小的像素，即其信息損失比“平均背景信息熵”明顯小很多的像素點。即$H_i<H?b,H?H_i>b$時：

另外，上面圖二計算的時候，是用一個16x16的grid來模擬分布，并計算熵的：

總結

以上是生活随笔為你收集整理的Explaining Knowledge Distillation by Quantifying the Knowledge的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。