論文地址：https://arxiv.org/abs/1610.09650

主要思想

這篇文章就是用teacher-student模型，用一個(gè)teacher模型來(lái)訓(xùn)練一個(gè)student模型，同時(shí)對(duì)teacher模型的輸出結(jié)果加以噪聲，然后來(lái)模擬多個(gè)teacher，這也是一種正則化的方法。

1. teacher輸出的結(jié)果加噪聲以后，然后和student的輸出結(jié)果計(jì)算L2 loss，作為student網(wǎng)絡(luò)的反饋。

2. 加噪聲

3. 計(jì)算L2 loss

4. 反向傳播，更新參數(shù)

5. 算法過(guò)程

• 注意：加噪聲的時(shí)候?qū)斎脒M(jìn)行了采樣，不然直接全加也太暴力了吧。

等價(jià)于基于噪聲的回歸

實(shí)驗(yàn)結(jié)果

1. 對(duì)比了不同噪聲比例對(duì)結(jié)果的影響，其實(shí)就是調(diào)參的過(guò)程。

2. 比較了學(xué)生加噪聲和教師加噪聲，結(jié)果是教師加噪聲效果更加明顯。

3. 比較了教師加噪聲和一般的正則化操作(dropout)

總結(jié)

本文想法比較簡(jiǎn)單，就是給teacher輸出結(jié)果加噪聲，美曰其名，learn from multi teachers.

轉(zhuǎn)載于:https://www.cnblogs.com/zhonghuasong/p/7653619.html

總結(jié)

以上是生活随笔為你收集整理的论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。