本文提出一種用于目標(biāo)檢測的知識(shí)蒸餾新方法：General Instance Distillation，GID，可應(yīng)用于各種檢測框架中，使得學(xué)生模型顯著提高AP的性能，甚至優(yōu)于Teacher模型！

作者單位：曠視科技, 北航
論文：https://arxiv.org/pdf/2103.02340.pdf

近年來，知識(shí)蒸餾已被證明是模型壓縮的有效解決方案。這種方法可以使輕量級(jí)的學(xué)生模型獲得從繁瑣的教師模型中提取的知識(shí)。但是，以前的蒸餾檢測方法對(duì)于不同的檢測框架具有較弱的泛化性，并且嚴(yán)重依賴ground truth（GT），而忽略了實(shí)例之間的寶貴關(guān)系信息。

因此，我們提出了一種新的基于鑒別性實(shí)例的檢測任務(wù)的蒸餾方法，該方法不考慮GT區(qū)分出的積極或消極，這稱為通用實(shí)例蒸餾（GID）。

我們的方法包含一個(gè)通用實(shí)例選擇模塊（GISM），以充分利用基于特征的，基于關(guān)系的和基于響應(yīng)的知識(shí)進(jìn)行蒸餾。

General Instance Distillation

先前的工作[34]提出對(duì)象附近的特征區(qū)域具有相當(dāng)多的信息，這對(duì)于知識(shí)的提煉是有用的。然而，我們發(fā)現(xiàn)，不僅對(duì)象附近的特征區(qū)域，而且甚至來自背景區(qū)域的區(qū)分斑塊都具有有意義的知識(shí)?；诖税l(fā)現(xiàn)，我們?cè)O(shè)計(jì)了通用實(shí)例選擇模塊（GISM），如圖2所示。該模塊利用教師模型和學(xué)生模型的預(yù)測來選擇要蒸餾的關(guān)鍵實(shí)例。?

此外，為了更好地利用老師提供的信息，我們提取并利用了基于特征，基于關(guān)系和基于響應(yīng)的知識(shí)進(jìn)行蒸餾，如圖3所示。實(shí)驗(yàn)結(jié)果表明，我們的蒸餾框架 對(duì)于當(dāng)前最新的檢測模型來說是通用的。

算法細(xì)節(jié)（建議去看原文）：

實(shí)驗(yàn)結(jié)果

廣泛的結(jié)果表明，在各種檢測框架下，學(xué)生模型可顯著提高AP的表現(xiàn)，甚至優(yōu)于老師。具體來說，在Reconet上使用ResNet-50的RetinaNet在COCO數(shù)據(jù)集上具有GID的mAP達(dá)到了39.1％，比基線的36.2％超出了2.9％，甚至比具有38.1％的AP的基于ResNet-101的教師模型更好。

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯 本站qq群851320808，加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的【论文解读】CVPR 2021 | 旷视提出GID：用于目标检测的通用实例蒸馏的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。