論文地址：https://arxiv.org/abs/1610.09650

主要思想

這篇文章就是用teacher-student模型，用一個teacher模型來訓(xùn)練一個student模型，同時對teacher模型的輸出結(jié)果加以噪聲，然后來模擬多個teacher，這也是一種正則化的方法。

1. teacher輸出的結(jié)果加噪聲以后，然后和student的輸出結(jié)果計算L2 loss，作為student網(wǎng)絡(luò)的反饋。

2. 加噪聲

3. 計算L2 loss

4. 反向傳播，更新參數(shù)

5. 算法過程

• 注意：加噪聲的時候?qū)斎脒M(jìn)行了采樣，不然直接全加也太暴力了吧。

等價于基于噪聲的回歸

實驗結(jié)果

1. 對比了不同噪聲比例對結(jié)果的影響，其實就是調(diào)參的過程。

2. 比較了學(xué)生加噪聲和教師加噪聲，結(jié)果是教師加噪聲效果更加明顯。

3. 比較了教師加噪聲和一般的正則化操作(dropout)

總結(jié)

本文想法比較簡單，就是給teacher輸出結(jié)果加噪聲，美曰其名，learn from multi teachers.

轉(zhuǎn)載于:https://www.cnblogs.com/zhonghuasong/p/7653619.html

總結(jié)

以上是生活随笔為你收集整理的论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。